关键词:
数学实体识别
BiLSTM-CRF
自注意力机制
对抗训练
优化算法
摘要:
自然语言处理是人工智能科学与技术的重要方向,随着大数据时代的发展,智能技术得到广泛的应用,深刻地改变着社会和人们的生活方式,如智能语音识别、聊天机器人Chat GPT等。命名实体识别是自然语言处理的基础任务,随着深度学习的出现,大量神经网络模型应用于命名实体识别任务中,其中研究实体识别的模型算法逐渐增多,在生物医疗、军事、新闻等领域已取得众多成果。然而,数学作为科学研究的基础学科,也是一门重要的科学语言,对于中文数学领域的命名实体识别,目前研究较少,在识别任务中还存在神经网络局部不稳定、实体边界模糊以及实体间长距离依赖等问题。通过文献调研发现,对抗训练、自注意力机制模型能改善上述存在的问题。因此,本文基于深度学习的方法,构建数学数据集,以双向长短时记忆模型和条件随机场(Bi-Long Short Term Memory Model and Conditional Random Fields,BiLSTM-CRF)为基础模型进行改进,开展数学实体识别模型算法的研究,提高数学实体识别的准确率。(1)考虑多种深度神经网络模型的训练速度和性能,实验研究了随机梯度下降(Stochastic Gradient Descent,SGD)、Adadelta、Adam和Adamax优化算法,实验结果表明,SGD算法和Adadelta算法在本文多数模型优化上表现突出,其中Adadelta算法在含有多头自注意力机制模型上的优化效果更佳。(2)针对数学实体间长距离依赖问题,本文提出了一种基于自注意力机制的数学实体识别方法,并根据优化实验,将SGD和Adadelta算法应用到自注意力机制模型的优化中,实验结果表明,本文提出的方法优于BiLSTM-CRF模型识别的效果。(3)针对神经网络局部不稳定、数学实体边界模糊问题,本文引入对抗训练,构建了融合多头自注意力机制的AT-BMHAC(Adversarial Training-BiLSTM-Multil-Head Attention-CRF)数学实体识别算法模型。该模型选择了Adadelta算法进行优化,在实验中精确率、召回率和F1值分别达到93.94%、94.37%、94.05%,比基础模型BiLSTMCRF的F1值提升了1.26%。验证了该模型和算法应用于数学命名实体识别的有效性。