​基于教育大数据的SPOC教学评价模型研究

教育部发布的《教育信息化十年发展规划（2011-2020年）》明确提出，“进一步加强基础设施和信息资源建设，重点推进信息技术与高等教育的深度融合，促进教育内容、教学手段和方法现代化”。[1]2017年国务院发布《国家教育事业发展“十三五”规划》，文件提出“积极发挥大数据在数字学习空间应用方面的重要作用，探索未来教育教学新模式，为推动个性化学习和针对性教学提供支持”。[2]高等学校教育信息化确立从之前的强调软件服务和平台服务转变到强调数据服务的新型模式。[3]合理有效地应用大数据分析技术来深度融合高等教育教学和信息化技术成为当前研究的重要议题。[3]

随着教育信息化建设进程的不断推进，SPOC混合教学模式已越来越多地应用于教学活动中。在SPOC混合教学活动中，产生了大量线上和线下数据信息，并由此带来了诸多新的机遇与挑战。一是如何分析线上线下教学活动，选取相关数据维度，进行信息的采集和量化，得到相应的教育大数据。二是如何构建相应的模型，对获得的数据进行分析。三是如何利用大数据，为教学提供支撑与服务。为此，从线上线下两个方面，选取了教学活动中教育大数据涉及的若干个数据维度，构建了基于教育大数据的学生评价模型和教学反馈模型，探讨了该模型在实际教学中的应用路径。

SPOC即“小规模限制性在线课程”，是Small Private Online Course的缩写。它将MOOC的资源和在线评价、交流等功能应用于传统课堂中辅助教学，是MOOC应用过程中发展起来的一种在线学习与线下课堂融合的教学模式。

SPOC教学模式一般采用翻转课堂的形式，实现“线上教学”和“课堂教学”相结合。整个教学过程分为课前准备、课堂教学和课后提高三个环节。课前，学生根据教师发布的任务书，登录在线教学平台自学指定的资源，完成课前测验，进行相关讨论。教师通过平台数据反馈了解学生课前自学情况，从而确定课堂教学的重难点。[4]课上，教师对知识点进行针对性的讲授，布置随堂练习和测验，通过平台数据反馈即时掌握学习效果，进一步解决难点，对学生开展个性化的教学，促进知识的巩固和内化。[4]课后，学生借助课程教学平台进行知识的巩固和问题的交流，查漏补缺。[4]教师通过课前、中、后的学习情况，对教学效果进行较为全面的综合评价和科学的分析，进一步优化教学设计，以便提高教学质量和教学成效。

2.SPOC混合教学模式中的教育大数据

教育大数据是教育领域的大数据，指整个教育活动过程中所产生的以及根据教育需要采集到的，一切用于教育发展并可创造巨大潜在价值的数据集合。[5]教育大数据的来源主要有教学活动中的数据、教育管理活动中的数据、科学研究活动中的数据以及校园生活中的数据。[6]本研究中的教育大数据主要涉及在教学活动过程中产生的各种数据。

在基于SPOC混合教学模式开展的教学活动中，教育大数据来源有多方面，包括线上数据和线下数据。根据目前已有的环境和实施条件，设计了如下维度的数据。

（1）线上数据

线上数据包括线上平台的登录、浏览学习资料、学习时长、线上作业、线上实时讨论、论坛浏览、论坛发帖、论坛回帖等8个维度的数据。其中，线上平台的登录数据包括登录平台的次数、登录的时间、登录的时长、登录频率。浏览学习资料的数据包括浏览课程资源时长、浏览时间、浏览次数、浏览频率、资料类型（视频/课件/文档）。学习时长的数据包括开始时间、离开时间。线上作业的数据包括提交状态、提交次数、提交时间、提交内容、作业分数。线上实时讨论的数据包括发表意见时间、发表内容的数量、内容质量。论坛浏览数据包括浏览时长、浏览时间、浏览次数。论坛发帖的数据包括发帖次数、发帖时间、发帖质量。论坛回帖数据包括回帖次数、回帖时间、回帖质量。[6]

线上每一个维度的数据都体现出学生的相关信息。登录数据体现出学生的学习习惯。浏览学习资料和学习时长数据体现出学生学习的主动性、学习态度和努力程度。线上作业数据体现出学生学习的主动性、学习效果。线上实时讨论、论坛浏览、论坛发帖、论坛回帖等数据体现出学生学习的积极性、学习兴趣、是否积极思考问题以及与同学之间的融洽程度。

（2）线下数据

线下数据包括课堂表现、课堂发言、课堂讨论、项目参与、成绩、考勤、课程相关学习活动等7个维度的数据。其中，课堂表现的数据包括听课的状态、课堂参与度、活跃度等。[6]课堂发言的数据包括发言时间、发言次数、内容质量。课堂讨论数据包括参与度、内容质量。项目参与的数据包括参与的积极性、对项目的贡献。成绩数据包括平时作业成绩和期末考试成绩。考勤数据包括学生按时、迟到、早退次数。课程相关学习活动的数据包括参加课程相关比赛的成绩、参与课程相关学术讲座次数、发表相关论文等数据。

线下每一个维度的数据也体现出相关信息。考勤数据体现出学生学习的积极性、自觉性、组织纪律性。听课表现数据体现出学生的学习习惯、学习态度和学习积极性。课堂发言、课堂讨论、项目参与等数据体现出学生学习的积极性、参与度、学习兴趣、听课程度。成绩数据体现出学生学习的努力程度、学习成效、学习方法的有效性、课程的难度及教学方法的有效性。

以往教师常规审视角度所忽略的一系列重要信息，通过线上线下各维度的数据依次展现出来。通过大数据的分析，教师能够对学生进行过程化考核，预测、引导、帮助学生学习，开展个性化学习。教师也能够更清晰地了解教学方法的有效性，从而优化教学策略、改进教学方案、提升教学成效。学生自身自我反思、查漏补缺，拟定后续学习计划，改进学习方法。

1.学生评价模型 

学生个人学习数据能够反映学生自身的学习情况。学生的表现维度很多，包括线上8个维度数据和线下7个维度数据。对于混合教学来说，线上线下一体化，相互融合，需要根据线上和线下数据全方位多维度立体评价出学生学习情况。

线上不同维度的数据根据课程评分规则的设定，系统能够给出每个维度学生的评分，按照各个维度数据权重的不同，计算出学生课程线上的综合评分。

对于线下各维度的数据，教师看重的是学生的学习态度和学习成效，对评价学生有重要意义。通过课堂实录来分析学生的学习态度，使用线下成绩来一定程度上反映学习成效。

学生学习态度评价的流程为情境标注、视频抽取、图像标注、表现量化、表现分析。情境标注即标明课堂实录的时间、地点、课程介绍等；视频抽取即按照一定时间间隔抽取出画面，得到图像序列；[6]图像标注即对图像序列中的观察对象标明状态、动作以及周围学生的状态，得到表现序列；表现量化即根据表现因子的权重，对对象表现序列进行量化，得到表现数值；[6]表现分析即根据对象表现的数值，结合评价方法计算出对象表现的综合数值。[6]

使用学生线下课堂不认真听课的表现情况来突出学生学习态度的特征。学生不认真听课的综合表现为U，计算方法为：

其中， Ei为第i次课程不认真听课表现的平均值，N为观察的次数。

Ei的定义为：

其中，Bij为第i次观察中，第j个表现因子的权重，n为观察点的次数。

通过观察和结合经验，总结出学生线下课堂不认真听课的表现因子及其权重如表1所示。

表1 线下课堂表现因子及权重

学生第i次课的线上线下综合表现为Si，采用百分制，计算方法为：

其中，Li为系统给出的学生第i次课线上综合评分，（1-Ei）×100为学生第i次课课堂认真听课的平均表现值。Ki学生第i次课线下成绩，x、y、z分别为线上综合评分、课堂学习态度、线下分数的权重，可以根据课程性质和教师需求动态确定，默认情况可以设定权重相等，表明同等重视程度。

综上，学生课程综合表现为S，计算方法为：

其中，N为观察的次数，Si为学生第i次课程线上线下综合表现值。

通过以上方法，可以得到学生一次课、一个学期等不同维度的综合表现值。根据以上数据，一方面，教师可以了解学生学习课程的积极性和主动性、学习态度、努力程度和学习成效，对学生的课程学习进行过程化考核，给学生相对客观的学习评价；并预测、引导、帮助学生学习，提供及时的教学干预，开展个性化教学。另一方面，学生自我反思，认识自身存在的问题，查漏补缺，明确调整后续学习计划，改进学习方法。

2.教学反馈模型

学生群体学习数据能够反映教师教学方法的有效性。通过数据的反馈，可以作为教师教学决策的依据。

教师教学方法是否有效，一定程度上能够从学生群体表现中的参与度和平均分得到直观的反映。教师的教学方法适当，能够充分调动学生学习的积极性和主动性，课程参与度高，平均分高，反之，则参与度低，平均分亦低。

线上不同维度的数据根据课程规则的设定，系统能够提供学生课程线上的参与度与平均分。

对于线下的数据，参与度采用课堂认真听课人数比例来表示，通过课堂实录来分析学生的课堂参与度。

学生课堂参与度评价流程与学生学习态度评价流程类似。不同的是：在图像标注时找出图像序列中范围内的所有不认真听课的学生对象；表现量化是根据表现因子及有此表现的学生数量，对表现序列进行量化，得到群体表现数值；表现分析是根据表现的数值，结合评价方法计算课堂表现的综合数值。[6]

学生课堂参与度记为C，计算方法如下：

其中， Fi为第i次课程的学生课堂认真听课的人数比例的平均表现值，N为观察的次数。

Fi的定义如下：

其中，Pij为第i次课程中，第j次观察时学生课堂认真听课的人数比例，M为观察的次数。

Pij的定义如下：

其中，m为指定范围内认真听课学生人数，n为指定范围内学生人数的总数。

学生群体第i次课程的线上线下综合参与度为Ti，计算方法为： 

其中，Fi为上述第i次课程的学生课堂认真听课的人数比例的平均表现值，Li为第i次课程系统给出的线上参与度。x、y分别为课堂参与度、线上参与度的权重，可以根据课程性质和教师需求动态确定，默认情况可以设定权重相等，表明同等重视程度。

学生群体第i次课程的线上线下综合平均分记为Hi，计算方法为：

其中，Ki为第i次课程的学生群体线下作业平均分，Oi为第i次课程的学生群体线上作业平均分。x、y分别为各自的权重，可以根据课程性质和教师需求动态确定，默认情况可以设定权重相等，表明同等重视程度。

综上，学生课程综合的参与度T，平均分为H，计算方法为：

其中，N为观察的次数，Ti为学生群体第i次课程的线上线下综合参与度，Hi为学生群体第i次课程的线上线下综合平均分。

由于教学方案从实施到产生一定的教学效果需要时间，具有后效性，因此需要一次、多次课等不同维度的数据。通过以上方法，可以得到学生群体一次课、多次课等不同维度的课程参与度和平均分。通过这些数据，教师可以了解同样的教学内容、教学方法在不同学生群体中的教学成效，不同教学方法在同一学生群体中的教学成效。从而清楚教学方法的有效性，改进教学方案，优化教学过程，调整教学进度和重难点，为不同基础、不同认知水平、不同学习风格、不同学习动机的学生提供个性化的教学，从而提高教学质量和教学成效。

为了客观评价学生学习和教师教学情况，排除课程开始和结束的不稳定因素，时间上的跨度尽量分散在更多日期。我们选取某学期的第2、4、6、9四次课程的表现数据，上课日期分别对应3月14日、3月28日、4月18日以及5月9日。

1.学生评价模型的应用

根据课程评分规则的设定，系统提供以上三位学生四次课程线上的综合评分以及对应这几次课堂的线下成绩如表2所示。

表2 观察对象线上综合评分和线下成绩

根据课堂录像，截取A、B、C三位学生上课时的不同时刻不同行为的图像，得到他们每一堂课的行为表现，结合表现因子及权重，得到他们在每一个观察时刻的表现值。根据公式2、3、4，可以计算得出A、B、C三个学生的课堂不认真表现值和综合表现值，对比图如图1-3所示。

图1 观察对象课堂不认真表现对比图

图2 观察对象线上综合评分对比图

图3 观察对象综合表现对比图

　　综上可知，学生A、B的线上综合成绩相对较高，学生C的较低；学生A的线下成绩较高，学生B、C的较低；学生A的课堂学习态度最好，学生B次之，学生C相对最差。

线上数据可以一定程度上反映出学生的学习情况，并不能完全真实反映出学生的学习效果，需要综合考虑线下情况。从线上数据来看，学生B和A成绩较高。但是，线上数据包含维度较多，课堂之外的相关线上数据仅能够为学生学习情况提供部分参考。例如：浏览学习资料和学习时长的分数，说明学生在某段时间确实打开了学习资料，但是否认真学习无法确认。课外线上作业的分数仅能说明当时题目的正确率，但是否真实反应学生的答题情况无法确认。因此，线上数据说明学生B和A的学习态度良好。通过课堂表现情况，进一步证实学生A和B的学习态度。再结合课堂的线下作业情况，学生B和A的差距就显现出来，学生A的线下成绩较高，学生B的较低，说明学生B的学习成效不高。

通过数据分析出：学生A在这门课程的学习过程中积极、主动，学习努力、认真，学习方法得当，学习效果较好；学生B虽然学习态度端正，但主观能动性稍微欠缺，努力程度不够；学生C学习态度欠佳，不够积极、主动，学习效果差强人意。

2.教学反馈模型的应用

教师针对A、B两个班级采用相同的教学方法，其中，第2、9两次课程以讲授为主，第4、6两次课程以讨论的形式为主。根据课程评分规则的设定，系统提供两个班级对应这几次课程线上的参与度、平均分以及对应课堂的线下平均分如表3、4所示。

表3 观察对象线上参与度

表4 观察对象线上、线下平均分

　　根据课堂录像，观察上述几次课程的课堂中认真听课的学生比例，利用公式7，可以算出每个观察时刻的学生课堂参与度。再根据公式6、8、9、10，计算出观察对象的课堂参与度、线上线下综合参与度、线上线下综合平均分。通过计算，A、B两个班级每次课程参与度与平均分对比图如图4-6所示。

图4 观察对象课堂参与度对比图

图5 观察对象综合参与度对比图

图6 观察对象综合平均分对比图

综上可知，在上述四次课程中，A班的课堂参与度均比B班的低，尤其是教师采用讨论为主的形式时，A班级的课堂参与度降低，B班级的课堂参与度提高。A班每次课程的线上线下综合参与度也均比B班低，平均分亦低。

通过数据分析得出：同一教师，同样的教学方法，A班学生教学成效稍差，B班学生相对较好。B班学生学习过程中积极、主动，无论线上线下，课程参与度均高，因此班级整体平均分比A班高。而且，针对这些学习主观能动性强的学生，课程采用翻转课堂形式，以学生为主体、教师为主导，能提高学生学习效率和学习质量。对于学习过程不太主动的学生，以讲授为主的形式授课，教学效果相对较好。 

虽然在该研究中达到了一定的效果，但在探索过程中，以下方面有待改进：第一，本文中的学生不认真听课的表现因子是根据观察和经验总结出来的，有所不足，需要在发展中进一步细化和权衡；第二，本文中的公式，只涉及部分主要维度的数据，后续需要添加更多维度的数据以完善评价模型；第三，本文在运用公式计算时，使用的权重均是默认相等的，在实际使用时，学生层次不同、专业不同、课程不同，权重亦不同，需根据实际教学情况进一步细分；第四，使用课堂实录分析线下课堂情况，工作量很大，需通过具有图像识别功能的系统来优化。

相信教育大数据应用会越来越广泛、深入，能不断促进教育质量的提升，会持续推动教育系统的智慧化变革。