MOOC同伴作业互评中反思意识与学习成效的关系研究.docx

摘要同伴互评是MooC中经常采用的一种教学活动。为了帮助学习者自信地对他人作业做出客观公正的评价并促进自我反思，课程团队会提供作业反思框架，即评价量规，希望学习者在使用评价量规撰写评语的过程中不断加深对课程教学目标的理解,通过观摩评议同伴作业促进自我反思。但教学用意未必所有学生都能够领会并落实，MooC中有多少学习者在作业互评过程中具有反思意识、反思意识程度如何、反思意识与学业成效之间是否存在关联，是本研究感兴趣的问题。通过对“教师如何做研究MOOC课程中79287条同伴互评数据进行深入分析后发现：在自然无干预的状态下，大部分学习者有一定的反思意识，但撰写的评语质量还有待提升;成绩合格者的评语长度和评语质量与学习成效呈现显著正相关，这表明同伴互评的评语长度及质量可以作为学习成效的预测指标。研究在使用定量方法对MOOC学习者评语数据进行教学意义分析方面作了一些方法尝试，可为后续研究提供参考。关键词：MOOC;同伴互评;反思意识;评语字数;评语质量;学习成效一、问题的提出同伴作业互评是MOOC中常用的一种社会建构学习活动，学习者需要根据课程团队提供的评价量规，对多个同伴的作业进行批改。在这个过程中，学习者不仅可以加深对教学要求的理解，促进自我反思1,还可以因观摩他人作业而取长补短，丰富观点和见识。己有研究表明，学习者参与同伴互评能够提高他们的学习成绩、激发学习动机2-4。例如：“教师如何做研究”这门MOoC课程中就有学习者表示非常喜欢这个活动，认为“原以为自己己经做得很好了，却看到了别人更出色的作业。对于被评价者来说，高质量且与被评价者相关的评语对其学习起到正向促进作用5,对于评价者来说，写评语的过程可以提升其批判性思考等高阶思维能力6。虽然作业评语是“同伴作业互评”活动中提升学生学习质量的关键要素，但并不是所有学习者都能够意识到认真写评语的意义，所撰写的评语也并不都是有针对性的。在一项对3034条同伴互评评语进行文本编码分析的研究中，研究者发现：多数学习者撰写的评语内容都不涉及对作业的修改建议，即使提出了修改建议，这些建议通常也是不具体的或者难以操作。在“教师如何做研究"MOOC课程中也有学习者反映：同伴并没有根据评价量规对作业进行评价;评语内容单薄，只有几个字，对后续修改无指导价值;等等。我们随机抽取了300条“教师如何做研究MOOC课程的同伴作业互评评语，按照字数由少至多的顺序排序后发现：学习者所写的评语长度不一，有些评语寥寥几字（如“很好“厉害”很有收获），有些评语长篇大论（字数高达上千字）；评语质量差异也很大，部分评语能够根据评价量规给出具有建设性的修改意见，但也有部分评语看不出与作业评价量规的关联。可见，并不是所有MOOC学习者都能够意识到评价量规实际提供了反思的框架，也不是所有学习者都能够根据评价量规撰写评语。那么，有多少MOOC学习者在参与同伴互评过程中具有反思意识或进行了审辩思考?由评语表达出的反思意识的强弱与学习成效之间是否有相关性?对上述问题的回答，将有助于增进我们对MOOC学习者学习特点的认识，相关发现也可以用于优化MOOC作业互评活动设计。二、研究设计本研究希望通过对MOOC作业互评活动中作业评语的研究，确定MOOC学习者在参与同伴作业互评过程中的反思意识强度，研究分析反思意识强弱与学习成效是否存在关系。（一）研究数据来源为保障本研究数据分析的有效性，本研究在样本选择上有以下几点考虑：一是同伴互评任务要具有一定狂杂度，如果同伴互评任务过于简单，那么学习者撰写的评语内容和修改建议极易雷同;二是同伴互评的评价量规不能过于单一，否则学习者撰写的评语同质性也会很高，同质性会大大压缩评语的可分析空间;三是为了排除学习者对评价内容理解程度的差异对学习者所撰写的评语内容的影响，所选择分析的同伴互评活动最好是在课程后期进行的，一般来说，参与课程最后一周同伴互评的学习者基本都坚持学习了课程的所有内容，这部分学习者已经了解并掌握了课程的知识点,他们对于评价量规的熟悉和理解程度可视为同一水平。根据上述考虑，本研究将研究样本确立为一门面向大中小学教师的研究方法培训MOoC“教师如何做研究，该课程共有五周教学内容。学习者在学完五周所有内容后需要根据模板撰写一份研究申请报告，作为作业提交并参与同伴作业互评，每个人至少要评6份作业。评价量规共有6个维度，分别是研究题目、研究关键词、研究背景、研究内容、研究过程和研究创新点和成果。表1列举了该作业同伴互评活动的评价量规。学习者根据评价量规给出每个维度的得分后，平台将自动计算总分（每个维度去掉最高分和最低分后取平均分，然后计算各个维度的平均分之和获得作业总分，满分15分），同时，学习者还需要在文本框内给出相应的评语，课程团队要求学习者能够根据评价量规进行评价，但平台本身对学习者提交的评语内容和评语字数无任何限制。表1同伴互评活动评价量规评价雄度不合格合格A好优秀。分I分2分3分研究越口（2分）研究ISu像口号,或杼不是教彼够完成的研究.或并不是研究.是做愣雷要修改法本合格.商明,直接.清峰研究为履词（2）没写关艇词.或/53个关犍词都不合适只有I个关逑网秘有2个以上关It网合适研究背景（3分）没有说明为什么鬟做研究.或者这个研究不太可能取得什么价值研究有些价（ft,但没有相关研究介捆研究较布价值.且介IR了相关的理论和相关研究.但叁考文献不妙AS1.不卷多研究何鹿很叠妥,相关研究分析湎*.参看文或典Iafl相关研究内容（3分）没“提出研究Me.只说饕做什么.没行说研究什么提出了研究问时研究问题的分X不合理.awn：4<a提出了研究问题.且绘制清庠的研究内容之间的关系图.或用文字步步论证r逻辑关系.没说*点燃点.或说得不太对提出r研究问题.且注制r清Iif的研究内容之间的关系图.或用文字步步论ifr逻班关系,为研究的重点和建点有清Wf的认机和令理的网断研究过程（3分）研究过僧书q过于商维.针不出会怎么做,是否有条件做3分研究何脖选择的研究方法不合适.没外说明研究需要的条件徒够为年个研究何总选推介运的研究方法,说明r之i»的研究基砒以及Il备本研究所需要的条件,没何说明信效度,或时说的不太对使第为每个场究问题选界合适的研究方法.n说明r之前的研究格心以及内备本研究所需要的条件.研究过程完整.考摩r信效度本研究收集了该课程第一至第十一期的所有同伴作业互评的实际数据，即每位学员打出的分数，在此基础上得出每份作业的实际互评成绩作为本研究的分析数据，使用RStUdi。工具进行数据分析。数据字段包括评价者ID、被评价者ID、课程ID、学期ID、作业ID、每个评价维度的得分、评语、课程成绩等，共计10184人次参与了同伴互评环节，产生了79287条有效评语，相当于人均提供了7.78条评语，即人均批改了近8份作业，“超额完成了互评作业任务。这也从一个侧面说明MooC学习者是很愿意看同伴作业的。（二）研究变量的操作化定义本研究主要涉及两个研究变量：反思意识和学习成效。1 .反思意识“反思意识”是指学习者在进行作业互评的时候，是否有意识地运用课程所教的知识（分析视角）来分析评价他人作业。如果一个MOOC学习者在作业互评时能够看出被评作业的优点，就有可能学习这个优点，并将其应用到自己的作业改进中。由于作业互评量规就是课程团队希望学员采用的分析框架，浓缩了课程所教知识的维度，所以这里“反思意识”操作化定义为“学员在进行作业互评的时候，有无应用作业互评量规的意识”。学习者反思意识的强度操作化定义为两部分：评语长度和评语质量。“评语长度是指评语的字数，包括所有中文字符、英文字符以及标点符号。如果评语太短，信息量太少，有可能是学习者没有仔细分析别人的作业，只是凭印象下了断言。而写得多的评语往往会基于评价量规对作业的一个或几个方面进行有针对性的分析,展示出评论者的思考。MOoC平台中会记录所有的评语，很容易计算出评语长度。本研究的一个产出目标是：要发现自然状态下学习者愿意写且有意义的评语长度，以便在未来的互评活动中对评语字数提出合理的要求。考虑到对上万条评语进行质量分析的操作可行性，这里将“评语质量转化定义为“评语和评价量规之间的吻合度。因为作业评价量规体现了教学团队对作业应达到水平的要求，它也是一种反思支架，帮助学习者结构化地运用课程所学知识对他人作业做出评价，因此，运用评价量规进行作业评价的过程，就是一个审辩和反思的过程。按照评价量规维度将思考的过程或结论写下来的评语往往针对性较强，也便于被被评论者理解和接受。如果学习者撰写的评语和评价量规之间亳无联系，那说明学习者可能并没有关注到评价量规，其评语质量难以保证。本研究采用建立关键词词典与评语进行字符匹配的方式来确定评语和评价量规之间的吻合度。这里我们以评价量规中的维度1(研究题目)为例说明词典的建立和匹配过程，如图1所示。首先，由两名研究者根据课程己有的评价量规内容进行关键词提取，这一步主要是提取评价量规中有意义的实词，对于一些副词、语气词等不纳入其中。尽管我们给出了非常详细的评价量规，但每个人对于量规的理解和表达仍然存在差异，不同的词汇可能表达了相同的含义。因此，为了提高关键词词典的全面性与精准性，第二步是从所有评语中随机抽取了300份评语，根据学习者撰写的真实评语对关键词词典进行补充，尽可能保证关键词词典囊括了量规中词汇的所有变体。最后，评价量规维度1建立的关键词词典如“研究题目、题目、口号、不是研究、做事、简明、清晰选题、合格、过大、直接符合、要求、修改(提出、问题、课题、立题、标题)”，其中"()内的关键词是根据随机抽取的300条评语内容所补充的关键词。只要学习者撰写的评语中与词典中任何一个关键词匹配，我们就认为这条评语和维度1匹配成功，标识为1,如果没有任何一个关键词匹配成功，则标识为0。评价依规指度I的所有内容随机抽取300条过语提取出有克义的实词.初步建立关逑词词典.补充关键词词典标讥为IR愿配成功1配失败部讲与时典中所有关图1关键词词典的简历与字符匹配流程举例根据上述匹配原则,我们按照评价维度1到维度6的顺序逐一开始匹配,最终形成79287条二值序列表征的数据记录，共64种类型(如OOOOO0、010000001000.000100000010.000001>100OOOn110000.111000111100、111110>111111),以此表示所有评语与评价量规之间的吻合度。例如：IlOOOO就表示该评语内容和评价量规中的前两个维度匹配，与后四个维度不匹配。2 .学习成效本研究用学习者最后的课程成绩作为学习成效的操作性定义。这是因为本文研究的是自然无干预状态下MooC学习者在进行作业同伴互评时的自然表现，我们的基本假设是：在自然无干预状态下，MOOC学习者同伴互评活动中的表现是其一贯学习行为和态度的体现，与其学习成效之间会有一定的关联，课程成绩就是学习成效的结果体现。本研究曾考虑过用学习者提交互评的作业成绩作为学习成效，但后来发现影响MOOC学习者作业成绩的因素很多，一方面MOOC学习者程度差异很大，互评成绩未必能够反映学生作业的真实水平，另一方面MoOC学习者有给同伴作业打高分的现象，图2为课程作业的成绩与给分人数的统计，可以看出：确实有给高分的倾向，所以单一的MooC互评作业成绩作为学习者的MOOC学习成效不太具备解释性。1052¾0M29575M3S4M3MDOO2000MDoOISOOOIO(XX)VOO图2作业分数(横轴卜与给分人数(纵轴)直方图那么这是否意味着MOOC同伴互评活动不可用呢?对于“教师如何做研究”这门课程，互评作业的教学目的有