基于大数据的教学过程评价体系和学生能力画像系统的构建
刘佳良
（东北大学 计算机国家级实验教学示范中心，辽宁 沈阳）
摘 要： 本文分析了教学过程数据与学生能力评价指标的关联，基于大数据技术研究并设计了教学过程和学生学习过程数据收集、数据分析、数据统计展示平台体系和系统，为教学效果和学生学习过程改进提供可视化数据支持，推动了教学评价机制的改革和人才培养水平的提升。
关键词： 教学过程评价；学生专业能力画像；大数据；数据挖掘与数据分析
大数据是近年来快速发展的技术方向，关于大数据的研究与应用与日俱增， 并不断深入影响社会生活。在现代教育事业发展的过程中，将教育数据挖掘与学习分析技术进行有机融合，从而在教育领域建立起有关模型，对影响现代教育的各种因素之间的关系进行量化研究，是全球范围教育发展必然趋势，也必将推动我国教育体制的不断完善，推动我国教育事业的快速发展[1-3]。我校计算机科学与技术专业以教育大数据为背景，落实本科专业工程教育认证教学过程监控和教学数据分析的指导思想，构建一套贯穿整个教学过程和学习周期的包含多种方式的教学过程数据收集体系，通过大数据技术和数据分析技术对收集的数据进行统计分析，为学生生成一套具有参考意义的专业知识能力图谱和学生能力画像，促进本专业教学和人才培养水平的提升。
供体材料为凌霄干花，购自网店“自个家果园农场”；受体材料为草坪草种子高羊茅，购自网店“长青种苗基地”。
一 教学过程评价和学生能力分析的必要性
经过前期的调查和研究发现，目前我国高校人才培养和教学过程的模式固定的，评价标准是单一的，往往只看结果，很难发现在过程中存在的实际问题，无法及时改进教学方法和培养模式，学生学习过程盲目性、随意性较强[4]，专业知识能力和综合能力很难得到充分且全面的提升，学生往往不知道自己到底欠缺什么，这些问题的根本源于我们在教学过程中缺少分析和反思，也缺少分析和反思的依据。
这些观点也得到了教育部和国内其他高校的广泛认可，专业工程教育认证和本科专业教学评估的各项指标也充分体现了教学过程评价和分析的重要性。在“新工科”的概念提出来以后，要求人才培养目标已经不再是简单的知识能力，而且要求学生具备包括知识理解，问题分析，设计与开发，沟通与合作，自主学习，研究与创新，项目管理和社会综合等多维度的能力体系。以计算机科学与工程学院为例目前的人才培养体系和评价标准根本无法也没有体现这些维度的学生能力。
因此我们发现，对教学过程和学习过程进行数据收集和数据分析，分析学生的学习行为习惯，评价学生专业能力和综合能力是十分急需且必要的[5]。通过信息化和数据挖掘的手段在教学和人才培养过程中找出当前学生在知识能力和综合能力上的不足，提出具有针对性的意见和建议，指导学生进行下一步的学习和发展，通过数据可视化技术展示相关的结果和信息，构建一套贯穿整个计算机专业教学过程和学习周期的包含多种方式的教学过程数据收集和分析体系，为学生规划学习路线和能力提升方向提供指导和建议，不断根据教学实际反馈更新建设体系和评价方式来完善基于大数据的学生能力画像和教学过程评价体系和系统[6,7]。
二 教学过程评价体系和学生能力画像的构建模式
针对东北大学计算机科学与技术专业专业教育和人才培养过程，使用基于大数据的多种信息化手段收集与学生相关的学习和能力数据，并构建合理的模型对数据进行分析和挖掘，对学生知识能力和专业能力进行评价和统计，在学习过程和职业发展过程中提出具有针对性的意见与建议，并在大数据的角度对计算机科学与技术人才培养和教学过程进行数据统计和分析，为学校人才培养模式调整和教学过程改进提供依据[8]。最终将上述理念转换成一套基于大数据的学生能力画像和教学过程评价系统，其中主要涉及的技术理念包括数据收集、分布式存储、数据挖掘、深度学习和数据可视化等。教学和学习构成评价体系构成主要包括三个部分，如图1所示。
近年来，我国法学界、经济学界、政治学界等理论界和国家发改委、外交部、商务部等部门从不同学科和角度加强“一带一路”建设的基础理论和应用对策研究，很多地方召开了关于“一带一路”建设的理论研讨会，涌现了一些专门性、综述性研究成果。“从研究成果的总体分布来看，社会科学成果最多，人文科学较少，自然科学最少。”①在有关“一带一路”建设的社会科学成果中，法学研究成果较少，国际法领域的研究成果更少。
图1 过程评价体系和学生能力画像构建过程
（一） 教学与学习过程数据收集
WANG Nuo, ZHANG Shou-long, QIN Lu-ping, ZHU Xuan, ZHANG Min-min, DENG Ben-qiang, WU Tao
2.4 按压镇痛泵次数、哌替啶使用总量及补救镇痛情况比较 SB2组和SB1组按压镇痛泵的次数明显少于S组(P<0.05)，哌替啶使用总量显著低于S组(P<0.05)，三组补救镇痛率比较差异无统计学意义(P>0.05)，见表5。
图2 学生专业能力结构
（2）用于进行评价的数据主要包括MOOC慕课平台、BB教学过程管理平台、网络在线学习系统、课程录像、雨课堂交互、课程考试及知识点成绩数据分析和挖掘，这些数据充分体现了大数据的特点，包括结构化数据，非结构数据，文本数据、视频大数据等内容，使用这些数据进行数据分析和挖掘构建学生学习过程画像和知识结构图谱，针对学习能力（自主学习、学习态度、学习效果<知识理解、问题分析、研究与创新、工程开发>）和综合能力(专业基础、专业知识、工程开发、研究与创新、沟通与合作)等多个维度进行能力评价[7,9,10]。
（3）过程数据收集是基础，而课程学习是本科人才培养和教学的重中之重，因此首先我们考虑如何收集课程学习的过程数据。以往课程数据主要体现考试成绩，但是知识课程较为分散，课程间联系较为松散，部分课程学习深度有限且无法为学生能力提升提供支持，因此考试结果很难真是体现学生的能力。为了改变这样现状我们重新构建了课程体系，明确了课程群的概念，确认了课程之前的支撑与延续关系，删减与专业方向无关的冗余课程，确保学生按照课程群进行学习能够充分掌握该方向基础专业知识、工程开发技术、科学研究理论等，为其日后在该方向的发展提供知识和能力储备，同样也保证了教学过程数据的有效性。
土墙温室大部分仅在前棚屋脊前80-100cm处设置了通风口，而在前坎处很少设置通风口，无法形成空气对流，造成午间散热降温困难，其次，大部分的土墙温室没有配套电动卷膜器，全部依靠人工手工拔缝通风，劳动强度大。人工放风降温等措施效果并不明显，使温室蔬菜生产受到不同程度高温为害。其次，相当数量的土墙温室灌溉采用大水漫灌，无滴灌设施，漫灌后5-7日内无法进行作业，还造成温室内湿度加大，直接加大温室骨架锈蚀和病虫害孳生繁衍[3]。
（4）基于课程群的概念，我们对群内的课程进行了两类定义，首先按照专业培养方案进行了课程联系定义，确认了课程间的先序和延续关系，然后我们对课程考题进行了能力定义，例如C语言程序设计，对概念类考题我们使用“知识理解”标签进行定义，对表述判断题使用“问题分析”标签进行定义，对代码实现题使用“设计与开发”标签进行定义。因此在考试结束后，以往我们只能得到一个考试成绩，而无法得知学生能力的不足，对考题进行标签定义后，我们可以收集到对应的能力数据。按照课程先序和延续关系，我们可以在进行数据分析时标记学生能力的问题，给出针对性意见，提示学生在后续课程学习时着重注意哪些方面。
（5）另外一个重要的学习过程数据来源于课堂提问，课堂提问可以非常直接地了解学生的即时学习状态，我们拟使用雨课堂app进行数据收集，由老师发起问题，并比较问题的能力标签，根据学生回答情况对学生知识理解、问题分析、开发与设计、研究与创新等方面的能力数据进行收集。
（9）在学生学习过程中，创新活动、科技竞赛、课外活动、实习和社会实践数据能够很好的反应研究与创新，项目管理、社会综合、沟通合作等能力，而这些数据大部分只能通过线下进行收集并确认，进行能力值量化存储在系统中，用于后期数据分析和能力评价。
（3）学习状态画像主要描述学习的三个方面，分别是自主学习、学习态度、学习效果，针对学习效果制定包括知识理解、问题分析、研究与创新、工程开发四个方面的画像。各维度值以0-5分为范围，按学年计算并生成图谱。1)自主学习维度的数值主要来源于mooc、bb、等网络学习平台、竞赛和创新活动，其中网络学习平台的课程信息、学习时长、鼠标事件（分析学习投入程度）、题目完成正确率等数据分析自主学习的能力值，以所有学生平均值作为基准，按照偏离值计算能力值得分，课外竞赛和创新活动记录为自主学习能力值的加分项。2)学习态度的维度值主要来源于课程录像行为分析数据，mooc和网络学习过程数据。通过分析学生在课堂和实验课程的行为，例如抬头率，发言率，提问率等计算学生学习态度维度值，以所有学生平均值作为基准，按照偏离值计算能力值得分，mooc和网络学习过程计算的自主学习能力值在前20%的，为学习态度维度值的加分项。3)学习效果维度的统计以专业能力图谱中的7个维度（知识理解20%、问题分析15%、工程开发15%、研究与创新15%、沟通与合作15%、项目管理10%和社会综合10%)加权计算而来。
（8）目前计算机科学与工程学院以实现了教室和实验室全方面监控录像，我们将建立分布式存储集群，用于存储大量的课程实时录像数据，通过人脸识别和行为跟踪技术对学生学习态度和学习能力进行数据挖掘。
（6）在工科专业人才培养过程中，实验和实践课程的已经越来越受到重视，通过排查我们发现在实验、课程设计、生产实习是目前开展最广泛的实践类课程，学生的知识理解、问题分析、开发与设计、沟通合作、研究与创新能力在这些课程中都能得到充分的体现，因此我们也按照能力标签对实验题目和实践内容进行定义，要求课程成绩按照标签内容进行提交，值得注意的是在需要团队合作完成项目时，要求组内成员对其沟通合作能力进行评价，记录学生该方面的能力数据。
（2）专业能力图谱的构成包括知识理解、问题分析、工程开发、研究与创新、沟通与合作、项目管理和社会综合7个维度。1)知识理解维度的值为课程群内所有用“知识理解”定义的考题得分值计算得出，另外课程中通过雨课堂收集的相关问题回答得分也通过加权计算在内；2)问题分析的维度值为课程群内所有用“问题分析”定义的考题得分值计算得出，另外课程中通过雨课堂收集的相关问题回答得分也通过加权计算在内；3)工程开发的维度值来源于各实验课程综合设计类实验项目得分、课程设计得分和生产实习得分；4)研究与创新的维度值来源与理论课程研究创新性考题得分、研究性随堂作业得分以及实验课程、课程设计、生产实习、毕业设计研究及创新性部分得分，科技竞赛、论文专利作为加分计算；5)沟通与合作的维度值来源于实验、课程设计、生产实习中以学生小组开展时组内针对和沟通的互评分；6)项目管理维度来源与沟通与合作的维度值来源于实验、课程设计、生产实习中以学生小组开展时组内针对组长和模块负责人的管理能力的互评分，同时任课教师根据小组成绩对组长和模块负责人进行能力评分的结果也计算在内。7)社会综合能力维度值主要来源于社会实践活动、校内和班级行政职务兼职的经历的统计和计算。
（二） 数据分析和能力图谱构建
（1）针对收集和挖掘的各类学习过程和相关活动数据，使用数据挖掘的各种方法(统计、分析处理、检索、机器学习、模式识别)对数据进行处理，统计并计算学生在学习过程中表现的各类能力维度值（分别是知识理解，问题分析，设计与开发，沟通与合作，自主学习，研究与创新，项目管理和社会综合），针对所有维度我们设计两种画像和图谱，用来直观表示学生的学习过程状态和知识能力结构，分别是学习状态画像和专业能力结构图谱[12]。
为了获得较为准确的车辆行驶速度，本试验采用了波形曲线分析与现场实时录像测试相结合的方法。跨中挠度最大值取自80 Hz低频滤波后曲线。由于试验数据较多且各试验梁规律相同，此处只给出FCB梁、PCB梁跨中最大动挠度与速度的关系，见图9。
（1）按照工程教育认证和本科教学评估的标准定义“新工课”背景下的学生能力，包括8个维度：分别是知识理解，问题分析，设计与开发，沟通与合作，自主学习，研究与创新，项目管理和社会综合。确立学生在学习过程中哪些部分可以为这8个维度的能力提供评价数据，如图2所示。
（7）以MOOC慕课为代表的在线学习系统目前已经广泛被在校学生所接受，以东北大学计算机科学与工程为例，目前为学生提供的在线学习和实验平台超过10个，系统中包含大量的细粒度的学习者学习行为相关数据，例如，学习日志、学习路径、学习成果数据、课程数据 、学习管理数据等，本体系主要关注学生学习时长，学习效果和学习路径等信息数据，来分析学生学习态度和自主学习效果[11]。
（4）分析个体学生各维度能力值的优秀和不足，给出下一步学习和提升的提示和改进意见。存储所有往届学生的所有数据，按学年计算本届学生在学习状态画像和专业能力结构图谱中各维度的优秀值（前15%为基准）和平均值，计算历史所有学生在各维度的优秀值和平均值（前15%为基准）平均值。分析学生目前状态处于历史和年度的水平[12-15]。
（5）按年度统计课程成绩和课程内各维度标签成绩的年度平均值和优秀值，统计历史上所有课程成绩和课程内各维度的标签成绩的平均值和优秀值，分析课程教学效果的变化规律，找出得分优秀和得分在平均值上的课程。
（三） 数据可视化和建议形成
（1）为每个学生按学年提供专业能力图谱和学习状态画像，以雷达图形式展示；统计学生多年度的专业能力和学习状态各维度值变化情况，以曲线图的形式展现；统计所有课程成绩和各类型考题的成绩，以表格形式展示；在展示时提供所有图谱，画像维度值的平均值和优秀值作为参考。
（2）分析学生专业能力和学习状态各维度的优秀值和不足，根据课程群联系提示后续课程和学习过程在哪些类型知识和能力应保持和改进的部分，形成文字学习建议报告。
（3）根据每年度课程成绩和课程各维度标签成绩的平均值和优秀值，统计历年课程教学得分变化的情况，以柱状图展示，展示每年度课程教学效果变化情况。
（4）根据所有同一门课程历年的学生考试平均成绩和各维度考题的平均成绩，展示该课程历年教学效果的变化，以柱状图展示。
图3 学生能力画像和教学过程评价系统整体设计
（四） 过程评价系统和学生能力画像构建
在明确了数据收集的内容和方法，数据处理和分析的策略，数据表表和学习建设生成的具体目标后，利用大数据相关的技术可以将学生能力画像和教学过程评价系统进行整体设计，主要分为三个层次，分别是数据采集层、数据存储层和数据分析层，分别针对教学数据采集，教学及学生学习数据存储、学生能力图谱构建和建议生成三个过程[16]。对系统进行架构设计，如图3所示。
三 结论
教学水平和人才培养水平是高校发展的核心竞争力，传统的教学评价体系无法对教学质量和教学过程进行量化评估，也缺少学生在学习过程中的个性化指导依据，通过基于大数据技术的数据收集，数据分析，数据可视化概念，结合符合实际专业需求的过程评价体系，构建一套完成的过程评价体系和系统实现方式，能够很好的解决教学过程评价和学生能力分析的缺失问题，为专业教学改革和学生学习规划提供数据和建议，支持本科专业工程教育认证和本科教学评估。评价体系构建理念和系统实现方式可以推广到其他专业进行广泛应用。
凡事都是有个概率问题，任何疫苗不可能100%有效的，并且都是会有部分不良反应的，发烧最常见，特别是麻疹、百白破。接种疫苗10几天内出现症状，特别是疫苗预防病的原发病的相关症状，都应该首先怀疑是疫苗反应。
参考文献
[1] 杨宗凯 . 数据驱动个性化学习 [N]. 中国教育报 ,2018-11-01(007).
[2] 于方,刘延申.“以用户为中心”的教育数据挖掘应用研究[J].电化教育研究,2018,39(11):69-77.
[3] 杨现民. 教学大数据:推动教育的科学变革[N]. 中国信息化周报,2018-10-22(014).
[4] 隋永博,曹旭.基于数据挖掘的学习分析在教学中的应用初探——以高校计算机课程为例[J].长春中医药大学学报,2018,34(05):988-991.
[5] 吴永和,陈丹,马晓玲,曹盼,冯翔,祝智庭.学习分析:教育信息化的新浪潮[J].远程教育杂志,2013,31(04):11-19.
[6] 何文珍,蔡跃.基于知识图谱的国外学习分析可视化研究[J].中国成人教育,2018(13):15-21.
[7] 石振强.基于教育数据挖掘的学习者聚类分析与研究[J].电脑知识与技术,2018,14(06):154-156.
[8] 仇焕青.学习行为大数据挖掘与分析系统的研究与设计[J].计算机产品与流通,2018(08):155.
[9] 刘邦奇,李鑫.智慧课堂数据挖掘分析与应用实证研究[J].电化教育研究,2018,39(06):41-47.
[10] 王传根,吴昊,刘路路.大数据背景下学习评估方法分析[J].教育教学论坛,2017(42):213-215.
[11] 颜磊,祁冰.基于学习分析的大学生深度学习数据挖掘与分析[J].现代教育技术,2017,27(12):18-24.
[12] 马卉,王晓春,张功云.基于知识图谱的国内学习分析研究热点及趋势分析[J].中国教育技术装备,2016(18):1-3+6.
[13] 吕海燕,周立军,张杰.大数据背景下教育数据挖掘在学生在线学习行为分析中的应用研究[J].计算技术与自动化,2017,36(01):136-140.
[14] 魏顺平,韩艳辉,王丽娜.基于学习过程数据挖掘与分析的在线教学反思研究[J].现代教育技术,2015,25(06):89-95.
[15] 舒忠梅,徐晓东,屈琼斐.基于数据挖掘的学生投入模型与学习分析[J].远程教育杂志,2015,33(01):39-47.
[16] 江波. 教育数据挖掘研究综述——技术的视角[A]. 中国人工智能学会计算机辅助教育专业委员会.计算机与教育：实践、创新、未来——全国计算机辅助教育学会第十六届学术年会论文集[C].中国人工智能学会计算机辅助教育专业委员会:中国人工智能学会计算机辅助教育专业委员会,2014:11.
本文引用格式： 刘佳良.基于大数据的教学过程评价体系和学生能力画像系统的构建[J]. 教育现代化,2019,6(51):157-160.
DOI： 10.16541/j.cnki.2095-8420.2019.51.054
作者简介： 刘佳良，男，湖南浏阳人，东北大学计算机国家级实验教学示范中心，实验师，办公室主任。
标签：教学过程评价论文; 学生专业能力画像论文; 大数据论文; 数据挖掘与数据分析论文; 东北大学计算机国家级实验教学示范中心论文;