探究同伴同伴互评电子作品影响因素

[摘 要] 本研究采用主成分因子分析法，探索影响同伴互评电子作品的信度和效度的因素，并考察这些因素是否在人口学变量上存在差异。结果表明，同伴互评电子作品的信度和效度与利益相关性因素、个体差异因素、执行成本因素有关，这三个因素维度下的变量在人口学变量上存在差异。运用同伴提名法和多种同伴互评形式，可以提高同伴互评电子作品的质量。
[关键词] 同伴互评； 电子作品； 主成分因子分析
[] A
[作者简介] 殷宝媛（1980—），女，黑龙江宾县人。讲师，硕士，主要从事教育技术理论、数字化学习、信息技术教育等方面研究。E-mail：ybyuan2000@16

3.com。

一、 问题的提出

电子作品作为学生的创造性思维的产物是教学过程生成性的体现，因此，电子作品从其出现开始就表现出巨大的生命力。随着信息技术与课程整合的不断深入，电子作品在各学科领域得到了广泛的应用。然而，电子作品的评价却因为其评价主体的多元化、评价量规难以掌握等问题，给实践者造成了操作的障碍。Koretz研究报告指出，教师反映评价电子作品增加了他们的工作负担，如增加了教学计划和教学管理的时间，另外电子作品评价比传统的考试评价有更强的主观倾向性，评价的信度和效度存在问题。
一些研究者采用同伴互评的评价方式解决以上的问题。Topping指出采用同伴互评的评价方式可以提升学生的高级思维方式与学习动机，是对成年学习者的良好评价方式，另外同伴评价具有一定水平的信度与效度。但是，也有研究指出了同伴互评中可能存在的问题。如Tracey的研究指出，虽然同伴互评为学生接受有反馈的学习提供了一个很好的途径，但有学生对同伴互评的负面作用表示担忧，如评价组内缺少客观公正的风气。[3]也有研究指出，评价者对被评价人身份知晓的情况下会渗入情感因素。[4]可见，影响电子作品的同伴互评的信度和效度的因素是多方面的，如果想要采取措施完善这种评价方法，就必须考察问题出现的原因，找到主要影响因素。
以往对同伴互评的研究主要有以下两类。第一类研究集中在以计算机为媒介探讨署名方式对同伴互评的影响。如Yong Zhao从关注的焦点、批判性、认知涣散等方面进行了研究，[5]王佑镁对东方文化背景下的同伴匿名评价与署名评价进行了研究，[6]张倩对网络环境下冠名、单向匿名与完全匿名评价进行了系统考察。[7]第二类研究探讨同伴互评在学科教学中的应用，这类研究集中在英语和语文教学中。如肖俊洪等探讨了在远程英语教学中，同伴互评对认知、情感和可转换技能等有明显促进作用；[8]韩冰通过实验和调查对同学间相互批改作文以提高学生英语写作流利性、复杂性及准确性功效进行研究。[9]以往研究中，较少有探讨如何在电子作品中应用同伴互评的方式，定量地分析影响同伴互评电子作品的因素还未见过。另外，以往的同伴互评定量研究中，很少有控制人口学变量，这样就无法厘清同伴互评的信度和效度是否是所探讨的变量在人口学变量上的差异所致。
因此，本研究的目的有两个：第一，采用主成分因子分析法，找到影响电子作品的同伴互评的信度和效度的因素；第二，考察这些因素维度下的变量在人口学变量上的差异，是否会影响同伴互评电子作品的信度和效度。

二、研究方法

(一) 研究设计

本研究选取哈尔滨师范大学2009级教育技术学专业一班的学生35人作为组一，201教育技术学专业一班的学生48人作为组二。组一采用自行设计的“平面设计”网络课程，实施网络条件下的学习与互评。在单元学习任务完成以后，要求学生用Phto摘自：毕业论文摘要范文www.618jyw.com
shop设计一幅规定主题的平面设计作品。电子作品上传到课程网站后，在规定的时间和地点进行单向匿名评价。学期末现场填写教师提供的调查问卷。组二在“教育技术导论”的课程上，自愿分成七组，进行协作学习的活动，要求每组用PPT制作规定主题的作品，在规定的时间和地点进行双向公开署名评价，学期末现场填写教师提供的调查问卷，两个组分别发放两种不同背景信息的调查问卷。

(二) 研究工具

本研究采用自编“电子作品同伴互评效果的调查问卷”，问卷的设计来自以下三方面的信息：第一，通过头脑风暴法，列举影响同伴互评电子作品的因素并进行整理归类；第二，通过访谈法，要求被调查者说出影响同伴互评的可能因素，然后进行词频分析，整理归类核心词汇；第三，通过发放开放问卷，对影响同伴互评的可能因素进行进一步归类。问卷设计好后，进行预调研，然后对问卷进行部分修改，最终形成本研究问卷。问卷采用Likert（李克特）五级量表，从“非常同意”到“非常不同意”。问卷内部一致性系数为0.747。

(三) 数据处理

本研究数据来源于以下两个方面：一是“电子作品同伴互评效果的调查问卷”，填写方式采用李克特（Likert）五级量表；二是学档评价，包括教师评价和同伴评价两部分，采用百分制。数据分析采用SPSS19.0完成。

三、结果分析

(一)研究假设检验

本研究假设影响同伴互评电子作品的因素是多方面的，因此，同伴互评的结果会存在一定的差异。为了检验本研究假设是否成立，随机抽取组一学生的一次电子作品互评结果作Kendall.W（肯德尔和谐系数）检验。检验结果见表1。表1显示，在无评价量规的条件下，Sig=0.000，W=0.104，说明评委之间评分结果差异极其显著，一致性差。在提供评价量规重新评价以后，Sig=0.000，W=0.381，说明评委评分结果之间一致性有所提高，但结果还是差异极其显著，一致性较差。可见，在电子作品的同伴互评中给出评价量规能提高评价的质量，这与已有的研究结论相一致。但在两种条件下，评委之间评分结果差异都极其显著，评委评分结果之间一致性都较差，说明影响电子作品的同伴互评的信度和效度的因素是多方面的，这与本研究的假设相一致。
（二）同伴互评电子作品影响因素的主成分因子分析本研究采用主成分因子分析法。首先对变量进行KMO检验和Barelett球形检验，然后，对变量进行主成分因子分析，采用极大方差法对因子负荷进行正交旋转，以反复迭代的主成分因素分析为抽取法来抽取最初因子个数。
表2显示，KMO检验值为0.648，Bartlett球形检验sig=0.000，说明本研究适合进行主成分因子分析。
图1主成分因子分析的碎石图显示，共抽取最初因子八个，其中有三个主要成分的特征值大于1，因此可以提取三个主要成分。
表3显示，三个主成分因子累计方差贡献率达62.742%，具有较好的解释率。分别将上述三个公共因子命名为F

1、F2和F3。

下面根据各个因子所包含的观测变量的意义，对这三个公共因子分别命名。采用极大方差法对因子负荷进行正交旋转，得到表4。表4显示，权威效应、利益因素、圈子效应变量在公共因子F1上有高负荷，这三个变量反映了同伴互评电子作品时，评价者与被评价者是否有利益相关性问题，因此把F1命名为利益相关因素；设计风格、审美倾向、认知风格变量在公共因子F2上有高负荷，这三个变量反映了同伴互评电子作品时评价者的个性偏好，因此把F2命名为评价者的个体差异因素；时间限制、情绪状态变量在公共因子F3上有高负荷，这两个变量反映了同伴互评电子作品时评价者需付出努力的问题，因此把F3命名为执行成本因素。

(三)同伴互评电子作品的影响因素分析与人口学变量检验

1. 个体差异因素分析

（1）认知风格
认知风格是个体组织和表征信息时表现出的偏好性的、习惯性的方式。在同伴互评电子作品时，由于每个评委认知风格的差异，关注重点也不同。关于同伴互评电子作品时的认知风格，本研究参考Riding和Cheema对认知风格维度的分类，[10]分为整体—分析维度。为了判断同伴互评电子作品时学生认知风格的倾向，本研究对问卷中的“T13：您在给一幅作品评分时，很关注这幅作品的技术细节和复杂度”与“T14：您在给一幅作品评分时，更倾向于从整体判断作品的等级”进行配对样本T检验，得到t=

4.862，df=80，Sig=摘自：毕业论文目录www.618jyw.com

0.000。两者在0.05显著水平上差异极其显著，这说明在评价电子作品时，学生更多的是从整体判断作品的等级。在同伴互评电子作品的实践中，作品视觉冲击力强、整体给人印象深刻的作品会得到较高的等级。
分别以性别、民族、家庭所在地、学生干部、班级等人口学变量为分类变量，对T13、T14进行独立样本T检验。结果发现，在0.05显著水平上，性别、民族、家庭所在地、学生干部等变量在T13、T14上差异并不显著，但T13在班级变量上差异显著，t=2.473，df=79，Sig=0.016。这说明在进行电子作品的评价时，大学三年级的学生比大学一年级的学生更关注作品的技术细节和复杂度。大学三年级的学生倾向于认为技术处理细腻、技术实现难点较大的作品，应该得到较高的等级。这一点正体现了教育技术学专业的技术性特征，学生随着专业学习的不断深入，更加关注自己的专业特性。
（2）审美倾向
电子作品的设计不仅是学生的创新性思维的体现，也是学生审美倾向的表征。评价者个体审美倾向的差异会影响评价的结果。问卷中“T16：如果别人作品与您的审美取向一致，您会给出较高的分数”，72.8%的学生选择了“同意或非常同意”，说明与评价者审美倾向相一致的作品会得到较高的等级。在同伴互评电子作品的实践中，采用当下较为流行的设计版式、配色方案等的电子作品，由于符合大多数评价者的审美追求，通常会得到较高的等级。
（3）设计风格
问卷中“T15：如果别人作品与您的设计风格相似，您会给出较高的分数”，46.98%的学生选择了“同意或非常同意”。分别以性别、民族、家庭所在地、学生干部、班级等人口学变量为分类变量，对T15进行独立样本T检验。结果发现，在0.05显著水平上，T15在班级变量上差异显著，t=2.261，df=79，Sig=0.027。这表明大一学生更倾向于给与自己设计风格相似的作品较高的等级。这与评价时采取的方式有关，大一学生采取双向公开署名评价，大三学生采取单向匿名评价。公开署名评价中，被评价者能看到评价者作出的评价，因此，评价者给与自己设计风格相似的作品较高的等级是一种自我认同。

2. 利益相关因素分析

（1）圈子效应
问卷中与圈子效应变量相关的题目有“T17、T18和T21等”。虽然83.9%的学生对于“T21：您每次评分的时候都仔细分析每幅作品，客观评定等级”表示“同意或非常同意”，但是，只有24.7%的学生对于“T18：如果一位同学与您的关系很好，评价他（她）的作品时您会给出较高的分数”表示“同意或非常同意”，22.1%的学生对于“T17：您评分的时候会关注作者的姓名”表示“同意或非常同意”。T21与T17、T18描述统计量的差异可能是由于T17、T18问题的敏感性导致的。
下面的研究也显示了圈子效应对于同伴互评结果的影响。采用同伴提名法，让每个学生回答“T32：请您写出班级内与您关系最好的同学姓名（3～5个）”。然后随机抽取五名学生，将他（她）的朋友给他的分数的算数平均数与所有同学给他的分数的算数平均数进行比较（如图2所示），结果发现朋友评分要高于同学评分。这说明评价者在知道被评价人姓名的情况下，评分时会渗入情感因素。
（2）利益因素
分别以性别、民族、家庭所在地、学生干部、班级等人口学变量为分类变量，对问卷中“T19：您认为如果您给别人高分，别人也会给您高分”进行独立样本T检验。结果发现，在0.05显著水平上，T19在学生干部上差异显著，t=2.374，df=79，Sig=0.020。即非班级或社团学生干部的同学更倾向同意自己给别人高分，别人也会给自己高分。在0.05显著水平上，T19在班级变量上差异显著，t=3.198，df=79，Sig=0.002。即大一学生更倾向于同意“您认为如果您给别人高分，别人也会给您高分”。这与评价时采取的方式有关，大一学生采取双向公开署名评价，大三学生采取单向匿名评价。公开署名评价中，评价者会更多考虑被评者的感受，因为被评者的感受会直接影响到对自己的评价的结果。（3）权威效应
对于问卷中的“T20：如果一位同学平时各方面表现优异，评价他（她）的作品时您会给出较高的分数”，有34.6%的学生选择了“同意”。在同伴互评电子作品的实践中，如果学生甲的某一次作品非常出色，给学生乙留下深刻的印象，学生乙在对学生甲以后作品的评价也趋于给出高分。

3. 执行成本因素分析

（1）时间限制
限制评价的时间和地点，可以减少相关因素的影响，提高评价的质量。但是，当电子作品数量比较多时，大量的作品会产生认知负荷，导致一些学生无法认真仔细地作出客观的评判。对于问卷中的“T25：您认为评分时间的限制会影响到您作出客观的评判”，78.8%的学生选择了“同意或非常同意”。
（2）情绪状态
对于问卷中的“T22：您评分的时候有时会受到自己心情的影响”，45.6%的学生选择了“同意或非常同意”。在这个问题上，不同的学生差异显著。分别以性别、民族、家庭所在地、学生干部、班级等人口学变量为分类变量，对T22进行独立样本T检验。结果发现，在0.05显著水平上，T19在学生干部上变量上差异显著，t=2.671，df=79，Sig=0.009。即非班级、学生会或社团学生干部的同学更倾向同意评分的时候会受到自己心情的影响。学生干部与非学生干部相比情绪管理能力更强，这与已有研究相符。在0.05显著水平上，T19在班级变量上差异显著，t=7.056，df=79，Sig=0.000。即大一学生更倾向同意评分的时候会受到自己心情的影响。越成熟的人情绪管理能力越强，这也与已有研究相符。可见，在低年级学生中应用同伴互评时，要关注学生情绪状态对评价结果的影响，创造愉快、和谐的评价氛围，可以提高评价的质量。

四、结论与解决策略

主成分因子分析结果表明，同伴互评电子作品的信度和效度与三个因素有关，即与评价者与被评价者利益相关性因素、评价者个体差异因素、评价者执行成本因素有关。权威效应、利益因素、圈子效应变量在利益相关因素上有高负荷；设计风格、审美倾向、认知风格变量在个体差异因素上有高负荷；时间限制、情绪状态变量在执行成本因素上有高负荷。这些变量在人口学变量上的差异会影响同伴互评电子作品的信度和效度。为了减低各种因素对同伴互评电子作品的影响，提高评价的质量，可以采取以下策略。

(一)采用同伴提名法

限定时间和地点的同伴互评可以提高评价的质量，但一对多的评价中，由于大量的电子作品会产生认知负荷，导致一些学生无法认真仔细地作出客观的评判。一对多的评价中，可以采用同伴提名法作补充。本研究尝试采用同伴提名法，让每个学生回答“T28：在您印象中哪些同学作品设计最好，请写出五个同学姓名”，然后将所有学生的提名相加得到某一个学生的“同学推荐”次数，再综合同伴互评成绩和教师评价成绩，得到“最终成绩”，计算二者的Spearman（斯皮尔曼）相关系数，得到表5。表5显示，在0.01显著水平上Sig=0.002，rR=0.589，二者呈中等强度正相关。这说明同伴提名法较好地反映了学生的学习成绩，具有一定的效度。因此，在一对多的评价中，可以采用同伴提名法作补充，降低评价者执行成本因素对同伴互评信度和效度的影响。

(二)灵活采用多种同伴互评形式

同伴互评的评价有双向公开署名、单向公开署名、单向匿名、双向匿名等形式。已有研究表明，每种评价形式各具优缺点。公开署名评价质量较好，但批判性差；匿名评价批判性强，但质量较低，会增加认知涣散等。在同伴互评电子作品的实践中，应根据评价的内容、分组的形式等选择合适的同伴互评的形式，减低各种因素对同伴互评信度和效度的影响。如在条件允许的情况下，采用双向匿名评价可以有效地减少评价者与被评价者利益相关因素，提高评价质量。在评价以视觉因素为核心的电子作品时，评价者个体差异因素会呈现出较高的负荷。因此，在给学生判定最后成绩时，应采用大样本的同伴互评成绩来降低评价者个体差异因素的影响。
[参考文献]
Koretz，Daniel. The Evolution of A Portfolio Program： The Impact and Quality of the Vermont Portfolio Program in Its Second Year （1992-1993）[Z源于：论文www.618jyw.com
]. ERIC Document Reproduction Service ，1994.
Keith Topping. Peer Assesent between Students in Colleges and Universities[J].Educational Research，1998，68（3）：249～276.
[3] TraceyPapinczak. Peer Assesent in Problem-Based Learning： A Qualitative Study[J]. Advances in Health Sciences Education，2007，（5）：169～186.
[4] [7] 张倩.网络环境下同伴匿名评价实证研究[J].电化教育研究，2007，（7）：55～57.
[5] Yong Zhao. The Effects of Anonymity on Computer-Mediated Peer Review[J].International Journal of Educational Telecommunications，1998，4（4）：311～345.
[6] 王佑镁.电子学档中同伴评价的实验研究[J].电化教育研究，2006，（2）：62～65.
[8] 肖俊洪，张永胜，彭一为. 同伴互评——远程英语教学的有机组成部分[J].中国远程教育，2008，（12）：41～46.
[9] 韩冰.同伴互评在大学英语写作教学中的功效[J].教育理论与实践，2009，（7）：40～42.
[10] Rding，R.J. and Cheema，I. Cognitive Styles：An Overview and Integration[J].Educational Psychology，1991，（11）：193～215.