上海论文网提供毕业论文和发表论文,专业服务20年。

基于ERNIE的口语理解探讨与推广

  • 论文价格:150
  • 用途: 硕士毕业论文 Master Thesis
  • 作者:上海论文网
  • 点击次数:1
  • 论文字数:32522
  • 论文编号:
  • 日期:2023-06-12
  • 来源:上海论文网

计算机论文哪里有?本文对口语理解从单任务角度对意图识别中语境匮乏和意图模糊的问题,从实体信息和时序特征两个方面进行了探索,提出了一种有效的方法;对口语理解的下属任务在建模中存在单任务建模误差传播和任务之间关联性不高的问题,从多任务学习角度进行探索,提出了新的解决方法,并验证了方法的有效性。

第一章 绪论

1.2国内外研究现状

随着人机对话系统的不断完善,应用于口语理解的方法也越来越多。首先,对人机对话系统进行国内外研究现状进行调研,然后,阐述研究者在解决口语理解任务所用到的方法,并分析方法存在的优势和劣势。

计算机论文怎么写

1.2.1 人机对话系统研究现状

人机对话系统是指用户与计算机之间在终端显示屏幕以对话的方式进行交互,机器能够理解用户对话给予相应的反馈。最早的人机对话研究来源于图灵在1950年提出的机器是否可以思考并聊天这一种设想,并且通过一种测试问题,来证明机器是否可以像人类一样进行思考并做出“语言”进行沟通,这是最早的图灵测试版本。从图灵提出图灵测试来验证机器是否具有人类智能的设想以来,研究人员就开始致力于人机对话系统的研究。

在1966年,MIT的计算机科学家Joseph[4]开发了世界上第一个聊天系统Eliza,其主要用于模拟真实的心理治疗师对精神病患者进行心理治疗,该系统只能依据人工设计的脚本与患者交流,这些脚本只接受文本输入,不理解对话内容,只是通过模式匹配和短语搜索合适的回复,该系统的知识范围有限,只能和特定领域的人聊天。

在1995年,Richard Wallace[5]开发的一个可依据用户需求而定制不同聊天系统的Alice,Alice在实现的过程中使用了一种人工智能标记语言AIML,AIML可使机器人递归地调用模式匹配器,以简化语言。由于AIML的局限性,这些聊天机器人的能力也受到限制,例如,Alice没有通过图灵测试,部分原因在于使用AIML构建的聊天系统无法保持长时间对话。

第三章 融合实体信息和时序特征的意图识别模型

3.1引言

目前,将常规文本分类方法应用在意图识别任务上已经取得了不错的效果,但是对话文本与常规文本在篇幅和内容上存在很大差异,因此要想取得更好的意图识别效果就必须针对对话文本存在的难点设计合理的分类模型。首先,在人机对话中,用户往往通过少量的话语表达自己的意图,这就造成缺乏足够的篇幅从而导致语境匮乏,如“哈尔滨是一个冰雪城市”,由于对话篇幅较短,其中还存在一些实体信息,如“冰雪城市”,常规模型无法识别出这可以代表一个地方,从而把它当普通文本对待;其次,用户在表达意图时比较随意,无法确定用户在对话开头、中间或是结尾表达了自己的确切意图,这会导致意图含义不明确,因此需要考虑对话前后之间的联系。

计算机论文参考

因此针对上述在人机对话意图识别中语境匮乏和意图模糊的问题,提出一种融合实体信息和时序特征的模型,该模型能够增强对话文本的语义表示,同时能够捕获意图在时序上的表达,再通过融合特征来提升意图识别的准确率。具体而言,首先,在文本表示模块,结合对话中的实体信息动态生成符合语境的词向量从而减少因对话篇幅短带来的文本语境匮乏;其次,在时序特征提取模块,利用双向长短期记忆网络提取对话中前后意图的联系从而减少因对话随意性带来的意图不清晰;最后,在特征融合模块中,利用多层门控内部自相关机制自适应融合对话中的实体信息和时序特征,这样既考虑了对话篇幅短和随意性的问题,又对特征进行了不同程度的融合,从而提升意图识别的准确率。

第五章 航空订票口语理解原型系统

5.1引言

人们出行的方式随着科技的发展也变得越来越多,而航空出行因其安全性高和速度快的特点,逐渐成为人们出行首要选择。随着近些年客运量的激增,机场的建设存在一定的滞后性,在有限的空间和有限人手的情况下,面对日益增长的客运量,尽管可以通过在线订票等方式来缓解工作人员的压力,但由于其缺乏一定的时效性,如半小时前无法订票,所以现场工作人员的压力还是很大,智能机器人的出现极大地改善这一现状。智能机器人能够自动理解旅客的口语,在理解口语的基础上帮助用户完成即时查询机票、订购机票等一系列服务。

智能机器人在理解旅客口语时,通常包括需要理解包括意图和语义槽,其中意图主要包括订票、查询航班信息、票价信息等意图;而语义槽则代表口语理解不仅仅停留在意图层面,而是对意图进一步细化,如订票的时间、出发地点和目的地等。

由于旅客在说话时比较随意且往往说话较短,因此适合采用具有提取时序特征的长短期记忆网络进行口语理解,而口语理解不仅包括旅客粗略意图的理解,还包括如槽值这些具体细节的理解。因此本章旨在开发一个智能航空订票口语理解系统,该系统能够准确地理解旅客的口语内容,从而识别出旅客的意图以及意图的具体信息。

5.2需求分析

需求分析是系统开发过程中一个基础性工作,一个清晰明确的需求分析对系统的开发具有重要的指导意义,本小节对智能航空订票口语理解系统进行需求分析。

口语理解的对象是口语转录成的文本,识别每一段对话中用户的意图以及将对话中每个单词进行序列标注,序列标注就是将用于的隐式意图转化为显示的指令,从而让计算机理解,如将“i want to fly from baltimore to dallas round trip”识别为atis_flight;或是将“chicago to Milwaukee”标注为“B-fromloc.city_name O B-toloc.city_name”,在这两个任务的基础上,系统的需求从功能需求和非功能需求两方面展开。

5.2.1 功能需求

根据上述对航空订票背景的分析,本系统的功能主要分为以下三部分:

(1)口语文本输入功能是指能够将一段订票的对话文本输入到指定的预测对话框中,以便将其传给后台作为模型系统预测用户出行意图的原始语料。

(2)口语意图理解功能是指对浏览器端传来的订票对话文本,服务器端自动调用相应的模型进行预测其意图,并将预测的结果在浏览器端展示。

(3)口语语义槽抽取功能是指将订票对话文本先进行分词,再对其进行语义槽的填充,用以识别出用户的具体意图,如出发地、出发时间、目的地等。在得到每个词对应的标签后,同样需要将在浏览器端指定位置展示。

第六章 总结与展望

6.2工作展望

口语理解在对话系统中有着重要的作用,因此随着智能系统的发展,有关口语理解的研究也越来越多。本文对口语理解从单任务角度对意图识别中语境匮乏和意图模糊的问题,从实体信息和时序特征两个方面进行了探索,提出了一种有效的方法;对口语理解的下属任务在建模中存在单任务建模误差传播和任务之间关联性不高的问题,从多任务学习角度进行探索,提出了新的解决方法,并验证了方法的有效性。然而由于时间和自身水平有限,在接下来的工作中,还有大量的问题需要研究,下面是有关本课题的工作展望。

(1)SLU模型在单个领域中可以获得很好的性能,但现有的SLU模型依赖于大量的标记数据,这限制了它们在新的和扩展领域中的发展。在实际应用中,为每个新领域收集丰富的标记数据是不可行的,而考虑跨域设置却是可行的。因此未来的工作考虑如何将知识从源域转移到目标领域,以及当目标域没有训练数据时,考虑如何将知识从源域数据转移到目标域。

(2)SLU性能的显著提升在很大程度上依赖于大量的标记数据,而标注训练数据在低资源设置下是无法正常工作的。所以未来可从低资源出发,对意图识别和语义槽填充的联合识别进行探索,如从Few-shot、Zero-shot和One-shot等角度出发进行探索。

(3)经过调研发现,目前大多研究者仅从单意图进行研究,对多意图的研究还较少。多意图的SLU意味着要处理包含多个意图及其对应的槽,与单意图识别建模不同,多意图需要考虑每个意图与语义槽之间存在的关系,因此如何有效地整合多个意图信息来引导语义槽填充是一个值得探索的方向。

参考文献(略)

123
限时特价,全文150.00元,获取完整文章,请点击立即购买,付款后系统自动下载

也可输入商品号自助下载

下载

微信支付

查看订单详情

输入商品号下载

1,点击按钮复制下方QQ号!!
2,打开QQ >> 添加好友/群
3,粘贴QQ,完成添加!!