人工智能时代智能语言学习软件的定义、设计与创新
爱天教育科技（北京）有限公司 那 天
一、AI算力提升，让「自适应性」成为语言学习软件标配
如今，伴随着技术进步，诸多国际通行的语言类国际考试已经采用了「计算机自适应考试（Computer-Adaptive Test,CAT）」。这一考试形式指的是在考试进行过程中，计算机系统会根据考生已完成题目的表现情况来决定接下来分配的题目。比如，美国商学院入学考试GMAT考试，就是率先践行了「自适应」概念的考试之一。而在2011年改革后的新GRE考试后，更是采用了「多阶段计算机自适应考试（Multi-Stage Adaptive Test, MST）」的形式。其特点是，每个考生的语文（Verbal Reasoning）和数学（Quantitative Reasoning）测试题目中，各自的第一部分为中等难度题目，而各自第二部分的难度则取决于考生在第一部分上的答题表现。
1.2.5 病情观察。护理人员密切观察患者病情，详细记录患者治疗情况。在对患者实施治疗过程中，必须严格遵从早期、联合、适量、规律等治疗原则，指导患者按时服药，避免其不熟悉而出现私自加减药物剂量，使治疗效果造成影响。而且，用药过程中，由于多数抗结核药物易对肝脏造成赎损损害，故而有必要度不适症状及药物副作用等进行观察，如有不适感存在立即给予对应处理，并对肝脏功能进行检查，保证患者健康[5]。
其实「自适应」的概念可以理解为中国文化中「因材施教」的算法版。并且由于AI算力的提升，从前领语言学习软件设计者不敢企及的智能化功能也逐渐变得可行。譬如，作为上世纪50年代被提出的一阶优化算法-「随机梯度下降(SGD)」，其所面对的训练速度缓慢的问题，正在被近些年来涌现出的许多新型自适应学习方法，包括 「Adam」、「AdaGrad」、「RMSprop」等解决和攻克。其中，「Adam」由于其更快的收敛速度，成为了如今最为流行的「Optimizer」之一。
而概念的普及和技术的进步，也使得「自适应学习」成为了人工智能时代语言学习软件的定义与内涵中的「标配」。在面对如何提升语言学习软件的自适应性并提高学习者效率的挑战时，我们需要将「算法」与「教研」结合，实现「算力」与「教学」的耦合。通过对教学过程中的关键内容与重点信息进行科学的参数匹配、权重设定，与概念标注，从而让学习内容实现「计算机程序化」，并实现学习内容可定制、教学过程可追溯，以及学习结果可量化的智能化学习效果。伴随着AI算力的进一步提升，当今的智能语言学习软件的核心内涵-自适应性也必将更加快速地实现功能突破。
Some systematic reviews that compare laparoscopic colectomy (LAC) with open colectomy for elderly had reported benefits in short-term outcome.
二、借力神经机器翻译，突破语言学习软件设计的底层逻辑
当「智能翻译」的表现始终与人类翻译水平有较大差距时，语言学习软件的设计过程自然也无法充分智能化。工业界与学界也曾经一度悲观地认为，即使在人工智能技术飞速发展的今天，「机器翻译」依然不及「人工翻译」的水平。尤其是在涉及到长篇段落分析以及复杂阅读层级的学习过程中，语言学习软件的智能化瓶颈始终无法突破。
BERT模型沿袭了「GPT」模型的结构，采用「Transfomer」的编码器作为主体模型结构。「Transformer」使用的注意力机制的核心思想是去计算一句话中的每个词对于这句话中所有词的相互关系，之后判定这些词与词之间的相互关系在一定程度上反应了这句话中不同词之间的关联性以及重要程度，最后再利用这些相互关系来调整每个词的重要性，也就是权重，即可获得每个词的新表达。「Transformer」的注意力层中的词与词关系如下图1所示。
近几年，我国的互联网产业发展突飞猛进，随之也带动了数字出版产业的飞速发展。在这个过程中，数字出版体现出了其自身的很多优点，同时也显露出了一些问题，但无论优势还是问题，我们都需要积极地面对，最大地发挥其优势，尽快地解决其问题。本文主要以下面所提出的问题为切入点进行论述：数字出版物为什么越来越受人青睐？什么样的数字出版物最吸引读者？什么是我们需要考虑的重要因素？科技创新下的数字出版发展的如何？数字出版产业中存在哪些问题？我国数字出版产业的机遇与挑战分别是什么？有朝一日数字出版物能否完全取代纸质出版物呢？通过本文的论述，以期对数字出版今后的发展能有一定的助力作用。
而当研究人员使用「Force Decoding」克服集束搜索获得句子长度必须和时间步保持一致的问题，并强制模型生成和「Ground Truth」长度一样的句子时，训练模型不仅可以平衡极端的翻译情况，并且提升模型运行的性能。
正确处理结构调整中依托钢铁和发展铸管、技术引进和自主创新、国内市场和国际市场等各种错综复杂的关系，保证了结构调整战略的成功，使得当年进口一根大口径铸管的价钱从“奥迪”降到了“奥拓”，新兴铸管因此被誉为“民族志气管”。
而存在于这一目标面前的挑战主要集中在自然语言处理（NLP）的算力瓶颈。而这一挑战在NLP领域实现历史性突破时，迎来的新的创新机遇。
而基于「神经机器翻译」所面对的问题，「Oracle」语言可以用来替代「Ground Truth」中的词语，从而作为训练阶段约束模型的数据。选择「Oracle Word」的方法有两种，一种是选择「word-level oracle」，而另一种是选择「sentence-level oracle」。
AI驱动的「人机对话」技术，一直在语言学习过程中被寄予厚望，尤其是在语言学习者的「对话练习」和「语境模拟」的环节。首先，人工智能技术可以模拟真人来扮演与学习者沟通练习的语言学伴。其次，学习者可以通过与机器对话轻松构建「语言环境」，甚至可以轻松切换语种来实现真人学伴无法实现的效率和功能。再次，「人机对话」在实现多功能的同时，通过智能软件来扮演真人教师，大大降低了语言学习者的成本。
从前，「神经机器翻译」领域的研究进步斐然，却依然无法在专业领域取代人工翻译的主要原因有两个。
「智能翻译」的准确性与多样性的提升，以及其与「人工翻译」水平的接近甚至媲美，都将极大地提升智能语言学习软件设计者对于人工智能技术的信心，并从而改变软件设计的地城逻辑。在这里，我们不难预期，不依赖人工干预的智能语言学习工具正向我们走来。
(3) 在发生浓烟状况下，大功率参量阵定向扬声器的音频引导与疏散标志，具有灯光标志不可替代的作用，弥补了原有应急疏散引导中的技术缺陷，并且疏散效率极其出色。
三、NLP领域实现历史性突破，带来人机对话式AI教学的创新机遇
例如梁文伦的经典作品《隙》中，有老旧的土墙，水磨的青砖，还有雕花的窗棂，从中可以看出在岁月的痕迹下透着原先的精致和细腻。断檐残瓦是对岁月的怀念和感慨，也是对时代变迁的反思。该作品为了更好地表现这个主题，采用特殊的角度，设置了夹缝装置，让观者透过缝隙观看一座老宅，增加了历史神秘感和厚重感。
第二，「Teacher Forcing」方法也是神经机器翻译中的一个棘手问题。「Teacher Forcing」方法要求模型的生成结果必须和参考句完全一一对应。尽管这一方法可以强制性约束模型的翻译结果，加快收敛，但缺点也显而易见。首先，不能保证某种语言中的每个词在另一种语言中都有对应词。其次，强制性的「词语对应关系」就会不可避免地剔除了语义相似甚至相同的其它翻译结果。如此，翻译过程中最具魅力的多样性特征就被忽略了。
首先，在主流的神经机器翻译任务中，模型训练过程中的输入和模型推断过程中的输入有较为明显的不同。在训练过程中，解码器生成字符时需受到「Ground Truth」，即「Reference Sentence」（参考句）的约束。而在推断过程中，在生成的目标句中，每一个字符需要完全根据模型给出的前一个字符进行推断，没有 Ground Truth 作为约束语境。
2018年，自然语言处理（NLP）领域取得了历史性的重大突破。谷歌AI团队发布的「BERT」模型，在机器阅读理解顶级水平测试SQuAD中表现惊人，不仅在全部两个衡量指标上超越人类表现，并在11种不同NLP测试中取得最佳成绩，包括将「GLUE」基准推至80.4%（绝对改进7.6%），以及「MultiNLI」准确度达到86.7% （绝对改进率5.6%）等。
而这一切，在「神经机器翻译」领域取得重大进展的时代，悄然改变。目前在自然语言处理（NLP）领域中，处在领先阶段的「神经机器翻译」的主要做法与以往传统做法不同。「神经机器翻译」在训练时要求输入源句，即「source sentence」，以及目标句，即「target sentence」，从而组成对应。在完成训练神经网络模型后，在测试集上生成翻译文本。
图1 「Transformer」的注意力层中的词与词关系
这个新的表征关系不但蕴含了需要生成的词本身，还蕴含了其他词与这个词的关系，因此和传统的单纯的词向量相比是一个更加全局的表达。从而通过这样的学习，使得模型能够更好地把握「需要生成的词」所出现的上下文语境。而这一关键技术的应用，使得语言学习者所处的「人机对话」训练过程中，最棘手的难题「语境」的开放性得以大大提升。
在大多数「人机对话」驱动的「智能语言学习」的相关产品和功能的设计、开发中，所有的计算机工程师以及产品经理都得面对一个挑战。那就是关于「语境」是否全开放的问题。首先，所谓「语境」就是指对于「人机对话」的范畴的约定。如果「语境」完全开放，那么意味着给语言学习者充分的空间，可以任意地表达。当然，这样的「全开放语境」，即「Open Context」也是在技术上最有挑战的。即使是相对最具有代表性的产品，比如苹果的「Siri」，在对话的智能程度上也差强人意。那么相反，如果将语境完全封闭掉呢？也就是说，只允许学习者讲系统程序预先完成录入并且做好设定的内容。语言学习者如果表达了超出设定范畴的内容，将直接被作为无效内容或错误内容处理。这样做，虽然可以保证「人机对话」不出错，但「智能性」和「多样性」的功能被大大削弱。
而基于NLP领域注入「BERT」类的算力突破，语言学习产品在AI对话巡礼过程中，可以大胆充分地使用「半开放语境」，即「Semi-open context」。所谓「半开放语境」就是指，在保证语言学习者的必要学习和练习内容被充分录入和预设的前提下，建立围绕核心学习内容的「相关延展内容」。虽并不是「全开放语境」，但与语言学习者所学相关的延展内容可以全部包括在语境中。这样的做法既可以有效地保证学习者学习和练习核心及相关内容，又可以通过部分限制语境，加快收敛，让「人机对话」可以持续准确地进行。我们用两个具体的「半开放语境」应用场景来阐述如何搭建创新的智能学习体系。
场景一：假设语言学习者需要学的一句对话核心内容是：「A+B=C」，同时由于语言中对一句话的表达方式不唯一。极有可能，学习者在实际表达中说出了与原句「A+B=C」相似但意思相同的表达，比如「A+B’=C」。那么这个时候，「A+B’=C」可否使对话进行就需要计算机程序进行判断。而对于表达「A+B’=C」类的科学和公正处理，就需要算法工程师通过建模转化为相应的参数与权重。这样，才能保证在语言学习者每次讲出类似「A+B’=C」的句子时，「人工智能」模拟的语言学伴可以做出正确、科学的反应。
场景二：「人机对话」的数据库如何真正有效地进行自动学习和自动更新？如果语言学习者说出了一句并不被包括在「Database」中的表达时，对这句新表达是否进行新增和录入，就再次需要教学专家的参与。假设学习者将「A+B=C」讲成了「A+D=C」，是一句内容相同且正确的表达，或者学习者将「A+B=C」讲成了「A+D=E」，从而变成了一句错误的表达时，同样需要更高算力、并可以更好理解上下文的算法来判断并决定是否新增正确的、剔除错误的表达。
四、结论
在「自适应学习」变得可以充分实现，「神经机器翻译」可以突破表现瓶颈，以及「NLP」研究领域实现历史性突破的时代，基于人工智能技术的新型语言学习软件，必将具有新的定义、内涵，与创新机会。我们有理由相信，未来会有更多不断升级的优质的教育科技产品服务广大的语言学习者。
作者简介： 那天，爱天教育科技创始人/CEO，豆腐托福/豆腐中文创始人，清华-麻省理工学院【MIT】国际MBA，清华经管创业协会副秘书长，CCTV-2国际财经连线采访特邀嘉宾，2018中国管理创新杰出人物，2019中国民办教育十大领军人物，法国French Tech The F2 initiative 40 under 40获奖者，中国管理科学研究院企业管理创新研究所语言教育领域学术委员，《托福口语黄金800词》作者，《产品之美-互联网时代的造物革命》译者。
标签：学习软件论文; 学习者论文; 人工智能时代论文; 爱天教育科技(北京)有限公司论文;