情感导学系统中的情感反馈框架初探

小北

本文发表于《数字教育》2020年第6期（总第36期）高教数字校园栏目，页码：38-44。转载请注明出处。

摘要：情感导学系统(ATS)是能够以与人类导师相同的方式检测并响应学习者情感状态的智能教学系统，即ATS系统需要具有根据情感状态的推理能力，从教学和更精确的情感角度为学习者提供适当的响应。本文首先分析了情感反馈的基本概念，探讨了由情感识别子系统、情感处理子系统、情感反馈子系统三个部分组成的ATS系统构成，分析了ATS系统的两个主要功能：一是推断学习者的情感状态；二是根据学习者情感状态建立最佳的辅导行为。最后，重点探讨了ATS系统中情感反馈实施规则及其应用。

关键词：情感导学系统；情感识别；情感处理；情感反馈

| 全文共9092字，建议阅读时长9分钟 |

引言

ATS是能够以与人类导师相同的方式检测并响应学习者情感状态的智能教学系统。其历史非常短暂（最早可以追溯到1997年皮卡德提出的情感计算）。2003年德·文森特（De Vicente）第一次使用这一术语，把ATS定义为一个可以检测并响应学习者情感状态的电子学习系统 [1] 。人类导师的优势之一是他们能够根据学生的情感状态和动机来调整，基于此，许多研究人员认为，如果计算机能根据学生的情感进行调整，那么智能教学系统的功能将大为增强。具有情感反馈功能的ATS系统在响应情感状态检测的同时，向学习者发送适当的情感或认知信号，以此确保学习者对学习过程的投入和坚持。例如，“如果学习者感到沮丧，老师需要生成暗示以促进学习者建构知识并提出支持性的评价以增强动机；如果学习者感到无聊，老师需要提出更具吸引力或挑战性的问题让学生去做” [2] 。本文尝试从基本概念、ATS情感反馈系统框架这两个方面对近年来ATS情感反馈工作原理进行分析和梳理，以期为本领域内的研究工作奠定基础。

一、基本概念

（一）反馈

反馈是系统与环境相互作用的一种形式，当环境对某个动作或行为做出反应时，就会产生反馈。在教学系统中，反馈通常用于学习过程中为学生提供支持，利用反馈将学习结果及时提供给学习者，提高学习者对自己的优势和需要改进方面的认识，并采取相应的行动来改进完善。反馈意在修改学生的下一步行动，使学生减少当前理解与期望理解之间的差距。反馈可以分为三种类型：激励、评价和描述。激励反馈的目标是通过建立一个良好的学习环境让学生感觉舒服；评估反馈的目标是通过分数来衡量学生的成绩，一般不会传达信息和指导；描述反馈为学生提供有关改善学习的详细且具体的信息。反馈的内容可以是领域知识、元认知知识、关于自我和任务的信念，也可以是认知策略，是学习者可以用来确认、添加、覆盖、调整或重组已有知识的信息。为了产生有效的反馈，需要考虑的不仅仅是简单的反馈策略或反馈内容，还受到反馈设计、反馈能力和反馈文化的影响。

作为教学过程中的一个关键要素，反馈是一个过程。在此过程中，学习者可以了解自身表现情况方面的信息，并利用反馈信息来改善其学习策略。其中，（1）过程：没有一种适用于所有情况的通用反馈方法，反馈中的一个关键挑战是创建可以有效使用不同序列、资源和方法的反馈过程。（2）学习者：反馈关注的是学习者的行为，学习者表现情况的信息可以来自教育者，也可以来自学习者自身、同伴或者自动化系统生成。（3）感知：反馈设计中的挑战是感知处理的概念化，即我们如何理解事物？学习者需要什么技能？反馈过程的哪些特征可以促进有效的感知？（4）信息：哪种信息对学习者最有用（详细的、个性化的、个人化的、面向任务的、基于元认知的等）？（5）表现情况：单一的表现情况是否足够？反馈应该通过整体表现情况还是局部的表现来显现？如何在不进行更多评估的情况下拥有更多的早期反馈机会？（6）影响：教育者或学习者如何知道反馈是否产生了影响？反馈设计中的挑战是设置条件，以使学习者有机会证明自己的进步，而不仅仅是要求他们完成进一步的任务。它还必须为学习者提供一个机会，以便学习者判断自己的表现并根据他们改变的学习策略进行评估。（7）质量：反馈信息是为了改进，但标准是什么？在基于标准的系统中，对学习者工作的评价需要与明确的任务期望相关，但是专家对质量的理解通常是默会的或难以描述的。

（二）情感反馈

在学习活动中，与学习行为一样，学习者的情感状态在选择行动和评价结果时发挥着重要的作用。与此同时，学习者的学习行为及其结果也会影响其情感状态。目前关于情感状态如何影响学习的研究大多是由心理学家和教育学家推进的。佩克伦（Pekrun）等通过一系列定性和定量研究发现 [3] ：积极情绪（如学习的乐趣）通过增强动机和灵活的学习方式而对学业成就产生积极影响；消极情绪（如焦虑）会侵蚀动机，使学生的注意力从任务上移开，从而导致浅层学习发生。积极情绪和消极情绪对学习的影响也得到了其他研究者的证实，布鲁姆（Bloom）的二西格玛问题研究指出，为了获得更好的学习成绩，至关重要的一点是要通过导师与学生之间持续的情感反馈回路来维持学生的积极参与和学习动机。埃夫克利德（Efklides）在一项关于元认知和情感的研究中假设：任务难度是影响学习元认知的一个因素。如果将一项非常艰巨的任务分配给学生，并且学生认为这超出了他们的能力范围，那么会产生消极情绪，例如沮丧并放弃该任务。如果教师能够为学生的学习提供脚手架支持或使用其他教学干预方法（如给予提示以减轻负面情绪），则有助于维持学生的参与度 [4] 。伍尔夫（Woolf）等研究了情感反馈与学生学习成绩之间的关系，其中反馈类型包括鼓励学生的信息、学生投入努力后生成的肯定、当学生没能成功解决问题时生成的战略信息，研究结论是情感反馈在一定程度上有助于学生提高学习成绩 [5] 。德梅洛（D’Mello）等证实了这一研究结论，他们整合了一套积极的、中立的和消极的短语来提供情感反馈，最后指出情感反馈在某种程度上改善了学习 [6] 。

研究发现，导师的行为不能局限于纯粹的指导，而且还应为学习者的学习创造适当的情感条件。辅导过程是社交过程这一事实意味着通过具有情感变化潜力的社会行为来影响情感状态，例如，导师这一身份表明其可以评判（批评或表扬）学生行为。其他的人际交互行为也会引起情感评价，如把任务表述为命令或建议其心理效果是不同的。拉腊（Lara）提出，导师应该持包容的、友善的态度，并应考虑学生的意见 [7] 。当学生达到目标或付出努力时，导师应向他们表示祝贺；为了更好地进行辅导，导师应为学生提供个性化的支持。因此，导师必须提供情感方面的反馈，因为情感反馈可以使学生为自己的成就感到自豪，可以鼓励学习者并提高其参与动机。情感支持是情感反馈的一种类型，其特点是同理心、友善、鼓励、尊重和关怀。而指导性支持的特点是提供明确的支持，如导师帮助学生解决问题或完成艰巨任务。将情感融入反馈中可以为学生带来很多好处，然而它会以不同的方式影响学生，主要取决于人格、性别、学业成绩、目标、动机、情感状态等因素。这些因素已经被人类导师用于学习环境中创建情感环境，因此，把情感反馈整合到ATS系统中非常重要。

二、ATS情感反馈系统框架

（一）ATS情感反馈已有研究回顾

ATS是能够以与人类导师相同的方式检测并响应学习者情感状态的智能教学系统，具有不仅能适应学生知识而且能适应学生情感状态的能力，目的是在情感状态可能影响学习者参与学习过程进而影响其知识获取的情况下进行干预并相应地做出反应。目前，ATS的研究或侧重于可以通过动画教学代理来显示模拟的情感，或集中在用于检测学生情感的辅导系统上。

动画教学代理是计算机化的能生成语音、动作、脸部表情和手势的具有动画效果的化身。代理可以提供教学指导，进行协作性对话，并为理想的行为、策略、反思和社交互动建模，进而指导学生下一步该做什么。代理通过数据的收集与计算，以适应学生的行为、言语甚至情感（如无聊、困惑和沮丧），根据决策机制，可以通过执行动作并以自然语言与学生进行对话来帮助学生学习，展示诸如面部表情、手势等表达情感的人类社交线索来支持学习者。在ITS和ATS等适应性学习环境中，教学代理非常受欢迎，目前成功改善学习者学习能力的教学代理包括AutoTutor、DeepTutor、iDRIVE、iSTART、Crystal Island、My Science Tutor等 [8] 。这些系统涵盖了STEM、阅读理解、科学推理以及其他领域。其中，AutoTutor系统是一种专业的导师代理，学生与代理的互动通过对话来实现，代理根据学生的现有知识水平与期望的匹配程度向学习者提供反馈。在学习过程中，当学习者受到认知不平衡的困扰时会经历各种情感状态，最常见的是困惑和惊奇，从而引发提问或询问，思考并解决问题，以试图恢复认知平衡。AutoTutor系统则基于自然语言交互、面部表情和身体动作对情感进行分类，重点是沮丧、困惑和无聊三种情感。该分类用于嵌入式的情感自动导师通过对话来响应学生的情感状态，情感自助导师通过面部表情的生成、语音的变化和姿势的调整来合成情感元素，并根据学生的情感状态调整对话和面部表情。

对学生情感状态敏感的学习环境可以很好地帮助学生学习，特别是伴随在混淆、沮丧、无聊等负面情感状态的学习过程中。因此，ATS系统除对学生的认知状态进行建模和响应外，还需要实时检测与学习相关的情感状态，选择适当的教学行为以影响学生的情感，使学生最大限度地学习，并引导学生进行情感表达。舍恩(Shen）等使用贝叶斯网络通过生物、物理信号（如心率、皮肤电导、血压和EEG脑波）对学生的情感状态进行了分类，把检测到的情感状态（投入、困惑、沮丧、厌倦、乐观、满足感和失望感）包含在情感学习者模型中，使用推荐规则来确定适当的干预措施，例如在学生感到困惑时提供示例或在学生厌倦时提供视频或音乐。卡贝斯特罗（Cabestrero）等基于学生在教育游戏中的身体表达提出一种动态贝叶斯网络的情感模型，使用了六种情绪状态——喜悦、痛苦、骄傲、羞耻、钦佩和责备，系统根据学生的情感状态及个人目标（想要帮助、学习数学、玩乐）提供支持 [9] 。伍尔夫等通过硬件传感器和面部动作来检测学生的情绪，并使用贝叶斯网络和隐马尔可夫模型对情感进行分类——愉悦、沮丧、新奇、无聊、焦虑和自信，并把情感反馈技术与学生个性特征的知识相结合开发了ATS系统，以响应学生的情感，并根据学生的认知特征、性别、空间能力等，为每个学生提供个性化的选择。范莱恩（VanLehn）等描述了一个情感元导师，能够根据学生的情感状态和日志数据决定为学生提供什么样的动机反馈，其中生理传感器和回归模型用于计算学生是否投入、困惑或无聊，决策树则根据学生的当前情感状态和日志数据来决定提供什么样的动机反馈信息 [10] 。

（二）相关ATS情感反馈系统框架介绍

普伦丁格（Prendinger）等开发了SCRE-AM(Scrip-ting Emotion-based Agent Minds)系统，是有助于角色的情感相关处理功能之脚本编写系统，其主要组成部分包括——情感生成、情感调节管理、情感表达以及负责更新角色心理状态的代理模型 [11] 。基于情感代理的核心活动是情感生成和情感管理，主要由情感推理模块、情感解析模块和情感维护模块这三个模块来处理。情感的推理模拟了OCC模型中代理的评估过程，即评价事件对代理的情感重要性。在OCC模型中，情感可以通过对三要素（事件、代理和对象）进行评估而形成，情感重要性是由“引起情感的条件（包括信念、目标、标准和态度）”决定的。为了使得情感表达符合社会文化规范，将情绪调节作为决定表达或抑制情感的过程，并且引入调节参数来对情感进行调节。

希梅内斯（Jiménez）等设计了基于书面情感支持的情感反馈模型 [13] ，即通过对话行为、语法和建立情感数据库的方式来收集学生期望得到反馈ITS情感性短语，然后在学习者与即时消息系统的交互中实现反馈，结果表明，学习成绩与学习动机及学习愉快程度之间存在微弱的负向相关关系，情感支持对学习成绩较差的学生更有利。

（三）ATS系统框架

（3）情感反馈子系统由情感同伴模块、辅导策略模块和情感响应模块组成。从情感处理子系统中获得的学生情感状态和交互记录传递给情感反馈子系统中。①情感同伴模块封装了产生情感响应的逻辑，包含事件选择器和情感引擎两个组件。事件选择器读取辅导导师事件和共享存储库中情感状态的数据，并过滤表明需要干预的组合，然后把导师事件和情感状态数据的组合通知情感引擎，情感引擎据此推断必须执行的干预类型，干预措施包括激励信息。情感引擎会执行有关何时以及如何进行干预的策略，然后将干预信息传达给用户界面进行执行。②辅导策略模块：一方面可以根据当前的辅导情况提供推理，另一方面可以根据学生当前的知识水平和学习特征，而且还可以根据学生的情感状态，进一步调整辅导过程。因此，辅导策略模块的主要任务是把从情感处理子系统中获得的有关学生情感状态和辅导情况的数据与ATS系统的适当响应相匹配。另外，把辅导策略规则编码在规则引擎中，以方便非编程人员修改策略规则。③情感响应模块用以模仿人类导师处理面对学生各种认知和情感状态的行为方式，其关键技术是模糊逻辑系统，即使用神经网络获取学生当前的情感，并通过模糊算法计算出相应的反馈策略，将反馈策略发送至教学代理，起到对学生情绪的调节。

（四）ATS情感反馈实施规则

在ATS系统中情感反馈实施规则的基本原理如表1所示，是通过对“效价V、唤醒A和表现P”进行操作来保持投入参与度，以便影响投入的情感维度和行为维度，其目标是保持高的效价（为学习者提供支持和积极的体验）、防止唤醒度A过高或过低（A过高→焦虑，A过低→无聊），并为学习者提供一种对任务的控制感（P），E（投入参与水平）由V、A和P推断得出（2：高投入；1：一般投入；0：不投入）。IA（指示性操作）：增加或降低下一个问题的难度级别。情感反馈规则如下：①如果情感状态是中性的，不采取措施；②如果学习表现不佳，则触发“提供调节和帮助”；③如果检测到负面效价，则触发情感支持；④如果检测到高激活状态，则给予激励响应。

情感反馈实施的核心原则是：如果一个辅导系统能响应学习者的情感状态，那么学习成果将得到有效的改善。汤普森（Thompson）和麦吉尔（McGill） [17] 从三个方面（内容知识、学习成就感知和享受度）研究情感支持对ATS系统有效性的贡献，实验对象是来自澳大利亚两所大学的使用Genetics with Jean ATS系统的40名学生，研究结果表明，获得情感支持的学生在这三个方面的有效性平均水平都高于未获得情感支持的学生，但只有在学习成就感知方面存在显著性差异，即获得情感支持的学生具有更高的学习成就感知能力。付华（Fwa） [18] 通过实验组（使用情感支持的ATS系统）与对照组（不使用情感支持的ATS系统）对比实验研究，结果表明，完成每次编程练习所需的时间存在显著差异，与禁用情感功能的版本相比，ATS的完整情感版本可以为学生提供更有效的辅导，提高了学生的效率，锻炼了学生的毅力。另外，通过对焦点小组讨论的分析进一步表明，学生对ATS的学习经历总体上是积极的。

三、总结

[1]DE VICENTE.Towards Tutoring Systems that DetectStudents’Moti-vation:An Investigation[D]. Edinburgh:University ofEdinburgh,2003.

[4]EFKLIDES A.Metacognition and Affect:What Can Metacognitive Ex-periences TellUs about the Learning Process?[J].Educational Research Re-view(S1747-938X),2006,1(1):3–14.

[7] LARA V R.Affectivity inMathematical Learning:Experimental Casein University ofVeracruz[D].Mexico:Universidad Autónoma de Tamau-lipas,2003.

[8]GRAESSER A C,FORSYTH C M,LEHMAN B A.Two Head may BeBetterthan One:Learning from Computer Agents in ConversationalTri-alogues[J].Teachers College Record(S0161-4681),2017,119(3):1–20.

[9]CABESTRERO R,QUIROS P,SANTOS O C,et al.Some Insights intotheImpact of Affective Information When Delivering FeedbacktoStudents[J].Behaviour & InformationTechnology(S0144-929X),2018,37(12):1252–1263.

[10][12]VANLEHN K,ZHANG L,BURLESON W,et al.Can a Non-cog-nitiveLearning Companion Increase the Effectivenessof a Meta-cogni-tive Learning Strategy?[J].IEEE Transactions on LearningTechnologies(S1939-1382),2017,3(10):277–289.

[11]PRENDINGER H,ISHIZUKA M.Designing and EvaluatingAnimatedAgents as Social Actors[J].IEICE Transactions on Information andSys-tems(S1745-1361),2003,86(8):1378–1385.

[15]AREVALILLO-HERRÁEZ M,MARCO-GIMÉNEZ L,ARNAU D,et al.AddingSensor-free Intention-based AffectiveSupport to an Intelli-gent Tutoring System[J].Knowledge-BasedSystems(S0950-7051),2017,132:85-93.

[17]THOMPSON N,MCGILL T J.Genetics with Jean:TheDesign,De-velopment and Evaluation of an Affective Tutoring System[J].EducationTechResearch Dev(S1042-1629),2017,65:279–299.

单美贤（1975— ），女，江苏张家港人，副教授，硕士生导师，主要研究方向为CSCL环境中的情感研究。