关于案例背景

　　在线学习教学质量参差不齐，线下教学中一些老师由于缺乏在线授课经验，导致学生缺乏充分的在线形式的交互，学习单调枯燥。同时，整个在线课堂都被记录和复制，参差不齐的在线内容和教学质量，在传播广、覆盖面大、无地域限制的互联网环境中，一旦出现问题，会被无限放大，带来重大负面影响。好未来集团提出一套合理的在线课堂智能质量评估反馈体系。

　　该评估体系基于真实的多模态在线课堂数据，覆盖不同的在线教学形态，能够从老师视角和学生视角，全面衡量和考虑质量评估核心要素，进而实现在线教学的精准评估反馈。围绕当前中国K12在线课堂教学评价的现状、智能评估反馈的基本框架原理和关键技术等问题展开分析，阐述多模态数据分析技术在在线教学评价中的应用，探索未来的更多可能。

　　国内外关于在线学习的智能评估反馈相关研究工作，按照在线学习的形式，可以主要分为两大类：（1）基于类MOOC的录播视频在线学习的评估反馈。在基于类MOOC的在线学习平台上，平台会记录学生的行为和活动日志，进而用于分析学生的参与程度和课堂的质量。比如有的学者通过对学生个体数据和其在课程论坛里的学习活动规律进行建模，提出用隐式动态因子图来预测学生的学习行为和课堂质量。还有学者研究学生在MOOC平台上的不同细粒度的行为并研发了一个隐式的表征模型，用于抽取学生不同的参与程度，进而用次预测学生的学习状态。（2）基于实时音视频的在线学习的评估反馈。在基于实时音视频的在线学习评估反馈工作中，借助于音视频的实时交互能力，老师和学生在整个在线课堂的全场景数据能够被有效的记录，进而提升在线学习评估反馈的覆盖度和准确性。例如基于在线课堂的多模态场景数据，有学者搭建了在线课堂违禁词自动检测系统，以及整个课堂质量的自动预估系统。

　　尽管国内外的研究者在在线学习的智能评估反馈方面有诸多相关的研究工作，但其涉及的评估反馈能力较为离散和单一，缺乏对整个课堂情况的整体把控，对于老师和学生的综合考量缺失，没有形成体系化的端到端、可复制的模型框架。

　　关于技术方案的具体措施

　　在线学习智能评估反馈框架依托国家科技创新2030智慧教育人工智能开放创新平台，利用业界领先的多模态学习技术，分析研究了数十万小时的在线课堂，尝试通过自动化和系统化的手段，对在线课程的质量做合理的评估，提出了基于多模态数据分析的在线学习智能评估反馈系统框架，相关的系统实现落地在好未来集团多条产品线，实现了在线课程的全面质量监控，并且匹配了后续的评估和处理机制。在学生满意度达到行业领先水平的同时，教师管理队伍的规模和工作效率也达到了领先水平。这里的在线课堂教学评估反馈系统理论框架，从基础课质、教学行为、互动反馈三个层次，全面衡量在线课堂的教学质量。围绕三层评估反馈体系涵盖现有所有主流的在线课堂学习形式，同时对授课老师和学生进行全方位、细粒度的数据量化，进而实现在线学习智能评估反馈的整体目的。

　　图1 在线课堂教学评估反馈系统理论框架

　　在线学习智能评估反馈关键技术，其中包括在线课堂多模态的音视频数据的流转，以及人工智能算法的精准检测与分析。

　　基于真实在线课堂的音视频多模态使用场景，我们设计了如下的通用多模态数据技术框架，如图2所示。在该通用技术框架下，可根据不同在线学习平台，不同在线学习形式（在线大班、在线小班、在线1对1）的具体场景和需求，进行人工智能算法模型的运行，进而实现在线课堂智能评估反馈。具体来说，通过移动终端、PC、手写板、摄像头等教育场景下常见的终端设备，采集教师行为、学生行为有关的多模态数据，如教师讲课的视频和音频、学生听课状态的视频、教师批改作业的行为日志（如批改时间、时长）等。采集到实时数据后，将这些实时数据通过数据回流方式存储在数据库中，与教师、学生等画像数据，共同作为离线模型实验的数据来源。同时，通过批量数据标注，构建训练、验证、测试数据集，结合研究目标，评估相关的模态数据，明确模型的输入、输出和评价指标。

　　图2 多模态在线课堂数据处理和人工智能算法部署通用框架

　　在人工智能的算法模型设计上，不同维度不同层次的智能评估反馈，依赖的多模态数据和相关的算法模型也均有不同。整体上来说，基础课质层，集中以计算机视觉和智能语音技术为主的感知层应用算法为主；而教学行为层和互动反馈层，则集中以自然语言理解技术为主的认知层应用算法为核心。同时，我们要求在线学习的智能评估反馈，在算法分析的过程中，不需要有人工的参与，是一个完备的端到端解决方案。

　　关于应用效果

　　好未来集团集中研发了在线学习智能评估反馈整体解决方案，并将其落地在好未来学而思多条产品线中。例如，在实际应用中针对数十万节的1对1课堂引入了这一套智能评估反馈系统。特别是在互动反馈方面，重点关注学生和老师之间的深层交互，基于表达，动笔，总结三个维度，提出“愿表达、勤动笔、善总结”的智能评估反馈驱动的教学理念。

　　针对1对1在线学习制定了六个层面的质量评估标准。一是愿表达，在问答方面学生上课能够积极、完整地回答老师的问题；二是愿表达，在讲题方面学生能够完整讲述一道题的思路；三是勤动笔，在笔记方面学生上课要进行笔记的记录；四是勤动笔，在做题方面学生上课要完整的书写一道题的过程或结果；五是善总结，在归因过程中当发现错误时，学生要主动归纳错误的原因；六是善总结，利用导图在下课前学生要通过思维导图总结本节课的重点。

　　每一节课体现上述的六个层面，在线学习智能评估反馈系统都会进行自动的评判，在算法模型自动评判的基础上，我们随机抽取了200堂课，对其的判断结果进行了人工的校验，其中算法的判断和人工判断的一致性均在90%以上。第一时间发现个别没有达到优秀的标准的课堂，可以针对问题有的放矢，在老师的选聘、培训方面提供更多的服务。

　　好未来集团已经将上述的基于多模态数据分析的在线学习智能评估反馈解决方案全面开发给全社会。在未来，智能评估反馈技术会逐步向学习者服务转化与过渡，逐步优化合适的教学服务。如何为学生提供全学习流程高质量的服务，是下一代教学产品和人工智能技术要解决的核心问题。（案例报送单位来自北京世纪好未来教育科技有限公司，上文为部分节选，如需全文请联系项目组。）