关键词:
深度学习
群注意力机制
自动求解数学应用题
GTS模型
摘要:
随着经济社会的飞快发展,越来越多的学校、公司以及诸多研究者将注意力投身于自动推理这个极具复杂且综合性强的领域,数学应用题的自动求解是该领域的研究方向之一。求解数学应用题常被学校教师作为一种评价学生算术能力强弱的手段,也是作为测试机器是否足够智能的标准之一。
(1)GTS模型的原有注意力模块替换为群注意力模块。将GTS原有的上下文注意力替换为多个不同功能的多头注意力模块(Multi-Head Attention)进行计算,然后再合并推理。这种并行计算的处理方式不仅加快了模型运算速度,而且使模型能够同时关注和捕捉多个方面的信息,从而更全面地理解不同类型对象之间的关联,数学应用题通常以人的实际生活为背景,问题表达以自然语言为基础,是基于其他学科领域(自然科学、社会科学)的问题。近年来,数学应用题自动求解任务取得了可喜的结果,几个典型模型DNS、Group Att和GTS表现出了较好的性能,其中目标驱动网络GTS模型采用深度学习的方法来设计解算器,并且更加关注于学习问题文本与其对应的表达式之间的映射函数,但该模型忽略了问题文本之间、不同数量之间、数量与上下文之间以及数量与问题之间的深层次逻辑语义。其次,并没有从数据预处理这一方面出发去优化模型。为此,本文在目标驱动网络GTS模型的基础上提出一种基于群注意力的数学应用题自动解算器FEG(Fool NLTK-ELMo-Group)。主要工作如下:而且也可以捕获更长距离的依赖关系。
(2)利用深度学习的方法设计预处理部分。具体而言,采用Fool NLTK分词器和词嵌入模型ELMo,获得更细粒度的语义块,便于更好地表示文本的语义信息,表达出高质量的词向量,帮助模型更好地识别并理解句子结构和含义,以此在提升自动解题模型性能的基础上重点关注数据预处理过程。
(3)构建自己的数据集MAC。通过重排、拼接、手动完善等方式,扩充Math23K数据集,按照一定规则加入了数据集Ape-test的部分数据以及利用百度翻译API将CC数据集翻译的中文数据集,以此提高数据的普适性和质量,改善模型泛化能力,更好地为系统服务。
本文围绕算术应用题的自动求解任务,在基于目标驱动网络GTS模型的基础上进行改进,将改进后的模型FEG分别在公开数据集Math23K和我们构建的MAC数据集上进行实验,结果表明,改进后的FEG模型在算术应用题求解任务上有更好的性能表现。在公开数据集Math23K上,我们的模型FEG的准确率有75.8%的精度,与GTS模型相比,准确率提高了1.5%的精度;在我们构建的MAC数据集上,准确率达76.3%。通过公开数据集以及我们构建的数据集上的实验和案例分析,验证了所提方法在求解准确率上的有效性。