计算机论文哪里有?本文提出了一种结合问题分类信息和BERT深度模型的答案选择模型,将问句的分类信息应用到候选答案句的处理中,在模型训练之前,获取问题句的分类信息,得到问题句的期望答案类型,利用期望答案类型处理答案句中相关实体,缩小候选答案的选择范围,提升正确候选答案的计算比重,从而提升模型的性能。
第一章 绪论
1.2 国内外研究现状
针对答案选择的研究主要集中在两个方面:一是基于表层特征的传统方法,这种方法依赖人工定义的各种特征,对问题和答案的匹配关系进行表示,重点关注词法及句法层次的特征信息,对深层的语义特征考虑较少,另外,该方法需要花费较多的人力和物力,迁移能力较弱;另一种是基于深度学习的答案选择方法,利用深度神经网络提取问题及答案句的语义特征,计算问题答案句之间的语义相似度,由于深度模型优秀的特征提取能力,深度神经网络已经在答案选择任务中得到广泛应用。
1.2.1 基于表层特征的方法
传统的方法倾向于使用特征工程[3]-[6]、语言工具或外部资源[7]来完成答案选择任务。例如,Filice等人[8]在 SemEval社区问答任务中提出了一种方法,该方法通过使用不同类型的特征来匹配问题,其中划分的特征主要包括8个相似特征,44个启发式特征和16个基于线程的特征;Yao等人[9]利用依存句法树分析,建立问题句与答案池中的候选答案句之间的语法分析树,最后通过逻辑回归模型决定正确的答案句;Alberto等人[10]将卷积树核、卷积神经网络以及其他手动设计的特征相结合,在获得问答对丰富的语义特征后,利用支持向量积模型进行答案选择。
第三章 基于BERT模型和问题分类的答案选择模型
3.1 引言
问答系统中问句虽然简单,但通常包含很多重要的信息,根据对问句的分类研究,可以获得问句中包含的大量语义信息,可以得到问句的预期答案类型(Expected Answer Types,EAT),预期答案类型是一种重要的信息,对于问答系统检测问题需要哪种类型的答案非常重要,它能够有效的缩小候选答案的搜索范围,提高后续答案选择过程中的精确度。研究证明[40][41],融合了问句分类信息的答案选择模型,在答案选择任务中的准确率都有不同程度的提升,问句分类(逾期答案类型检测)对答案选择任务准确率的提升具有一定的作用。
现有的答案选择模型主要采用分布式的方法处理问答对,模型首先分别对问题和答案分别进行编码[43][44]表示,然后利用问题和答案的向量表示计算其语义相似度,但由于自然语言的复杂性,这样的深度模型在处理答案选择任务时,问句的语义信息与候选答案句的语义信息交互较少,模型在计算时对问题句的分类信息关注较少,问题句的分类信息一般不能直接应用到答案句中,对答案句的语义建模和最终筛选帮助不大。
基于此,本章介绍了一种融合问题分类信息和BERT预训练模型的答案选择模型,如图3-1所示,本章提出的模型利用BERT模型的自注意力机制构建基于问题分类的答案选择模型,重点关注答案句中与问题分类信息相关的实体,更深层次的融合问题句和答案句的语义信息,提升在答案句中符合预期答案类型的实体单词的计算比重,以解决上述问题。
第五章 答案选择模型的设计与实现
5.1 系统设计
通过第三章和第四章的实验发现,本文提出的基于BERT模型改进的跨领域答案选择算法,在常用的问答数据集中取得了较好的效果,模型能够筛选出正确的选项回答问题,且能正确的将候选答案集排序,为了更直观的展示研究内容,本章设计开发了一个答案选择展示系统。
基于BERT模型的答案选择模型在结合了问题分类信息和外源知识库的知识表征之后,模型效果取得了明显提升,为了更加直观的展示模型的效果,帮助用户快速选择正确答案并展示,本章设计开发了一个面向用户的答案选择展示系统。该系统能够直接将问题库中的问题及候选答案展示在用户界面,并从候选项中筛选出正确答案展示给用户,同时,系统还将标准的正确答案同时展示在用户界面,方便用户判断当前答案选择模型是否选出了正确答案。
5.1.1 系统架构设计
该系统使用SpingBoot开发框架,数据库选用MySQL数据库,使用VUE前端开发框架开发前端页面 。如图5-1所示,本展示系统按照层次化结构搭建,系统总共分为三层,自顶向下分别为系统展示层,功能模块层和数据存储层。
5.2 系统实现
5.2.1 开发环境
本展示系统采用浏览器/服务器模式(B/S)搭建,以浏览器为用户端,作为用户交互界面。本系统开发采用的处理器为Intel i5-6500,CPU为3.19GHZ,计算机内存容量为16GB,采用64位Windows10系统开发,使用的开发语言为Java和Javascript。
5.2.2 系统展示
系统主页提供三个接口,实现用户搜索问题,选择问题和结果展示的功能,如图5-4所示,当用户想直接查看某个问题的模型训练情况时,可以在问题库中选择已有的问题进行查看,点击问题后,直接跳转至该问题对应的候选答案界面,可以直观的看到该问题与对应候选答案的相似度得分情况。
第六章 总结与展望
6.2 展望
本文以答案选择任务为切入点,分析了当前答案选择任务中的亟待解决的问题,并通过现有的预训练模型和知识库进行了一定程度上的改进,并通过实验验证了优化模型的效果,但本文的工作仍存在不足之处,可以在之后的工作中加以改进和完善,总结如下:
1)将预训练模型用于答案选择任务时,由于其庞大的模型参数和深层的网络结构,模型在训练时需要花费的成本较高,对实验环境有一定的要求,在未来的工作中,可以尝试使用蒸馏或压缩的预训练模型,简化模型参数,提高模型效率。
2)本文使用的问题分类方法停留在已有方法的粗粒度的层面,在未来的工作中,可以尝试将更细粒度的问题分类和现有的答案选择模型相结合,进一步缩小候选答案的范围,提升模型的精度。
3)在本文的研究中,知识库的引入丰富了问答对的语义表征,这说明引入额外知识有助于模型理解更深层次的语义信息,未来可以尝试将性能更优秀的深度模型和知识库相结合,提升模型对自然语言处理任务中文本的语义理解。
4)现有的各种英文答案选择模型研究已经取得了一定的进展,但是对于中文的答案选择任务来说,还有一定的提升空间,因此,在未来工作中,可以将现有的答案选择模型用于中文数据集,提升中文答案选择任务的表现。
相信随着深度学习模型研究的深入,自然语言处理任务一定会取得良好的发展,模型对人类语言的理解也会越来越接近真实水平。
参考文献(略)