机器语法纠错能力新突破,微软小英变身英语写作老师

2018-07-20 | 作者:微软亚洲研究院

编者按:机器自动语法纠错是自然语言处理领域的一个经典研究问题,由于能够作为训练数据的句对语料非常有限,机器语法纠错能力长久以来始终无法达到理想的效果。最近,微软亚洲研究院采用了一种全新的学习和推断机制,在CoNLL-2014以及JFLEG两个权威语法自动纠正评测数据集上,首次实现了机器语法自动检查结果超越人类参照水平。这项最新的语法改错技术也催生了“微软小英”作文打分这一全新的功能。


正在准备英语考试的你是不是在经历着这样的困境:动手写了几篇英语习作,却不知道写得怎么样。我写的内容够丰富吗?用词够不够高级?语法是不是准确?逻辑通顺吗?如果老师就在身边,可以随时给我的作文打分该有多好。

现在,由微软亚洲研究院研发的贴身英语私教“微软小英”可以给你的作文一键打分啦!这项技能让微软小英从英语口语老师变身成为你的私人英语写作老师,它能够综合多元维度对英语作文打分,并给出分析报告,为四六级、雅思、托福等多种英语语言考试的考生们提供写作一键评分服务。

从语音评测到语法改造

在此之前,微软小英的功能主要集中在英语的口语学习方面,包括跟读训练、情景模拟、发音挑战、易混音练习、绕口令等。融合了语音识别、口语评测、自然语言处理、语音合成等人工智能技术,微软小英能够自动分析使用者的英语发音,综合语音、语调、流利程度等多方面因素给出一个合理的评分,帮助用户不断地纠正错误,练就一口标准的发音。

事实上,除了口语,写作也是语言学习过程中非常重要的一部分,国人对英文写作的评分和纠错存在着大量的需求。尤其是对于雅思、托福等语言考试的考生而言,如果每篇作文都购买人工批改服务,将会是一笔不小的开销。

针对英语学习者在写作方面的需求,微软小英“作文打分”新功能在网页端和手机端同步上线了。用户可以自主选择主题或自定义主题进行写作,在完成后,微软小英的作文打分功能会综合考虑拼写、语法准确性、行文流畅性、内容丰富性、词汇句式使用程度等多个维度,模仿英语老师快速地生成参考分数和评估报告。与昂贵的人工批改作文相比,微软小英团队希望机器写作评分能够使更多学生受益于低成本的语言教育。同时,在手机端的功能还可以让用户利用碎片化时间随时随地进行写作训练。

微软小英手机端作文打分界面

微软小英网页端作文打分界面

作为一款以人工智能为驱动的交互式英语学习应用,微软小英的作文打分功能少不了前沿技术的支撑。在其“语法准确性”的评分体系中就采用了微软亚洲研究院在语法检查研究上的最新突破——前不久,微软亚洲研究院自然语言计算组提出的自动语法改错算法在CoNLL-2014和JFLEG两个权威语法改错数据集上首次超越了人类参考水平,在两个数据集上都取得了目前最好的结果。

而得益于微软亚洲研究院内部团队的密切合作,这项世界领先的机器语法自动检查技术快速转化到微软小英中,成为微软小英作文打分新功能中一个重要的参考维度。

自然语言处理领域的经典问题

语法自动检查及纠正是自然语言处理领域的一个经典任务。人们可能对Word文档中检查和纠正单个词汇输入错误的拼写检查功能很熟悉,与拼写检查相比,语法检查要复杂得多,它需要考察句子中的逻辑关系,包括主谓搭配、介词使用、时态表达等多达28种(CONLL-2014评测任务中将错误类型共分为28种)的“全错误类型”。

多年来,微软亚洲研究院在机器翻译领域有着深厚的技术积累,开发的系统在通用新闻报道测试集newstest2017的中-英测试集上,达到了可与人工翻译媲美的水平 。对于语法纠错任务,研究团队也借鉴了神经网络机器翻译的思路,类比机器翻译进行不同语言之间的互译,语法纠错则是将错误的句型“翻译”成正确的句型。

CoNLL评测是自然语言处理领域中影响力最大的技术评测之一,每年由ACL 的计算自然语言学习会议(Conference on Computational Natural Language Learning,CoNLL)主办。

根据2015年新加坡国立大学在CoNLL-2014数据集上进行的人工语法改错评测显示,人工语法改错的平均得分为72.58%,而本次微软亚洲研究院的自动语法改错模型的得分达到了75.72%。同时,微软亚洲研究院的自动语法改错模型,在约翰霍普金斯大学与Grammarly合作发布的数据集JFLEG上也达到了媲美人类的水准。

“此次在自动语法改错任务上的突破,主要得益于我们在模型学习和推断方面对这个任务做了一些针对性的改进。”微软亚洲研究院自然语言计算组葛涛介绍说,“我们提出了一种全新的学习和推断机制—— fluency boost learning and inference,其学习过程能生成大量的流畅提升句对,指导模型更好地学习语法纠错,推断过程则以不同的视角对句子进行多轮修改,有效地提高了seq2seq模型在语法改错任务上的表现。”该研究的相关论文已经被ACL 2018接收。

让AI帮助人类规范语言

“在自然语言处理的研究领域中,语法改错是一个非常基础的研究方向,但它相对比较小众,这是因为语法检查有特定的应用场景和应用人群,只有出现语法错误的情况下语法检查/纠错才有用武之地。” 微软亚洲研究院自然语言计算组资深研究员韦福如介绍说,“比如英语语法改错,目前英语语法检查的大量需求来自中国、日本、韩国等亚洲地区,正是因为我们这些非母语使用者所拥有的学习英语的亲身经历,使得我们能够比母语使用者更了解英语学习者在学习和使用英语的过程中容易出现的各类错误,因此才能够把英语语法自动改错任务做得更好。”

事实上,微软亚洲研究院的这项语法纠错技术对语言并没有限制,也就是说除了英语语法检查,它可以对任意一门语言的语料进行学习和纠错。

除了帮助人们提高语法和写作水平,机器语法检查还有更广泛的应用场景,无论是人们每天办公联络用到的电子邮件,还是撰写文案、翻译文件、PPT展示……在所有办公文档出现的地方,语法检查这项看似小众的技术都可以大显身手,更智能、便捷地帮助人们规范语言的使用。未来,繁杂的语法纠正工作都有可能交给人工智能来做。

微软小英团队在未来也会继续优化和完善作文打分这项功能,希望该功能不仅能够给出评分报告,更能针对文本做更细致的分析,给英语学习者更多具体的修改建议。

扫描下方二维码,试试最新的作文打分功能吧!