第三届美国硅谷顶级人工智能前沿大会(AI Frontiers Conference) 将于 2018 年 11 月 9-11 日在美国硅谷最高级别会议中心圣何塞会展中心盛大举行。美国 AI 界领军人物悉数出席。
迄今为止,语言理解一直是人类的特权,这也是为何研究自然语言处理 ( NLP ) 至关重要,因为它有助于研究员们更接近人工智能的终极目标——通用人工智能。许多研究人员深入到自然语言处理的领域,去解决诸如机器翻译、问答、阅读理解、自然对话等问题。
ACL 大会向来是聚焦语言理解最新研究进展的地方,今年,ACL 2018 公布了最佳论文名单,《Know What You Don't Know: Unanswerable Questions for SQuAD》荣获了这次大会的最佳短论文。SQuAD,全名斯坦福问答数据集,被认为是阅读理解领域最好的数据集。它孵化出了如今最前沿的模型,这些模型在回答问题的准确性上已经达到了人类的水平。
SQuAD 是由斯坦福大学计算机科学和统计学助理教授 Percy Liang 所带领的团队建立,他也是 Google Assistant 中核心语言理解技术的创造者。自 2012 年以来,Liang 在斯坦福大学教授人工智能相关的课程,他也是对话式人工智能创业公司 Semantic Machines 的联合创始人和人工智能研究员,后者在几个月前被微软收购,近年来,Liang 称得上是机器学习和自然语言处理领域日益崛起的新星,多年来他获得了无数学术奖项,这其中包括了 2016 年的 IJCAI Computers and Thought Award,2016 年的 NSF CAREER Award,2015 年的 Sloan Research Fellowship,2014 年的 Microsoft Research Faculty Fellowship。
在今年 11 月即将在硅谷举办的 AI Frontiers 大会上,Liang 将讲述他在语言理解方面的最新研究进展,而这篇文章旨在介绍他的学术生涯、研究重心以及他对人工智能的展望。
探索语言理解的奥秘
「我是如何理解语言的?」
这个问题在 Liang 高中的时候就困扰着他,而他对于使用某一种方法来探索语言理解的奥秘兴奋不已。
2004 年,梁博士获得了麻省理工学院的本科学位。紧接着,他在麻省理工学院就读硕士时期的导师 Michael Collins - 一位在计算语言学领域受人尊敬的研究员 - 鼓励他攻读自然语言处理硕士学位。
一年后,他被加州大学伯克利分校录取,师从 Dan Klein 和 Michael Jordan,这两位都傻逼机器学习和语言理解方面的大牛,后者更是培育了一批如今活跃在人工智能领域最前沿的专家,包括 deeplearning.ai 的创始人吴恩达、蒙特利尔大学教授和 MILA 实验室负责人 Yoshua Bengio、Petuum Computing 的创始人邢波都是 Jordan 的学生。
Liang 在一次接受中国媒体的采访时回忆起这段求学经历时说,「我很幸运有这两位导师。梁博士我不仅从他们那里学到了很多东西,而且学到的东西是互补的,不仅仅是在研究领域 (机器学习和自然语言学习)。」
Liang 毕业后来到了谷歌纽约做了一年博士后,之后他加入了斯坦福大学,开始教人工智能的课程。一位叫做 Shiyu Wang 的 Quora 用户在评价 Liang 时说,「他很年轻/很有亲和力,能够倾听学生的意见,说话得体,最重要的是,他有足够的动力去尝试和使用这些技能,让演讲值得去听。」
2014 年,Liang 在加州大学伯克利分校的导师 Klein 创立了 Semantic Machines。该公司开发了一种革命性的新方法来建立对话式 AI,利用机器学习的能力,使用户能够以更自然的方式发现和访问信息,获得服务并与之互动,而且效率更高。
Klein 希望他的这位学生和他一起共事,他曾说过「Percy 是我共事过的最杰出的研究人员之一。」2016 年,梁博士加入了公司的技术领导团队。今年,该公司被微软收购。
SQuAD 和机器学习的可解释性
Liang 的研究工作重心放在了将用户的请求转换成简单的计算机程序的任务上,并让程序有序地作出回应。
SQuAD 数据集是他的杰作之一。研究员们一直试图攻克问答系统,他们希望机器能和人类一样,在阅读完一些内容后,能够理解和回应自然语言中复杂、微妙和脱离上下文的问题。SQuAD 在 2016 年创建,这个数据集包括了维基百科文章中的 100,000 个问题,这些问题的答案可以直接从某一段文本中提取出来。
然而,SQuAD 的第一代数据集有个问题:模型无法辨别出问题的合理性,有些问题看似关联,实则在原文中根本无法找到答案。
于是到了今年,Liang 领导的研究小组发布了 SQuAD 2.0,它在 SQuAD 1.0 的基础上增加了 50,000 多个全新的、无法被回答的问题结合在一起,这些问题是由众包工作者收集起来,目标是帮助人工智能模型根据所提供的文本数据识别哪些问题是无法被回答的。
虽然 SQuAD 是为阅读理解而设计的,但在接受香侬科技采访时,Liang 认为 SQuAD 可以有更大的影响力:数据集可以鼓励研究人员开发新的通用模型,神经机器翻译产生了基于注意力的模型,这是机器学习领域最常见的模型之一;
同时,在一个数据集上训练的模型对其他任务很有价值。
除此之外,Liang 也在开发能够和进行互动交流的机器人、或者可以与人类进行合作对话的机器人。语言理解的目的不仅仅是模仿人类,在与人类互动的过程中应该从根本上理解人类如何思考和行动,至少在行为层面上。
虽然 Liang 把大部分时间和精力放在语言理解上,但他对可解释性机器学习也有着浓厚的兴趣。机器学习的可解释性如今是一个热门话题,公众越来越担心人工智能应用的安全性,尤其在自动驾驶、医疗保健、罪犯面部识别上,机器学习的黑箱属性让它在面对攻击时显得特别脆弱,研究员又无法溯源,找出核心的问题所在。
Liang 在接受 Future of Life Institute 采访时表示:「鉴于我们对机器学习的依赖越来越大,建造工具来帮助我们更可靠地学习机器是至关重要的。」
最近,他的研究团队在解释黑箱机器学习模型方面取得了一些进展。他的一篇论文提出了一种叫做「影响函数」的统计技术,通过学习算法来追踪模型的预测,并将预测结果再返回给训练数据。他的另一篇论文介绍了一种基于半定松弛的方法来防止来自对抗性样本的攻击,对抗性样本如今已经可以做到更改一个参数,就能改变整个预测模型的结果。
尽管机器学习和语言理解仍处于早期阶段,它走向成熟工程学科的道路必然漫长而艰难,Liang 却从不畏惧挑战。当人工智能已经在视觉和语音上取得成果后,自然语言处理和可解释性是如今人工智能迈向下一个阶段的核心领域,Liang 的工作或许能让学界看到人工智能的下一个重大突破。
- END -