基于多头注意力和BiLSTM改进DAM模型的中文问答匹配方法(Chinese question answering method based on multi-head attention and BiLSTM improved DAM model)

Hanzhong Qin (秦汉忠), Chongchong Yu (于重重), Weijie Jiang (姜伟杰), Xia Zhao (赵霞)


Abstract
针对目前检索式多轮对话深度注意力机制模型DAM(Deep Attention Matching Network)候选回复细节不匹配和语义混淆的问题,本文提出基于多头注意力和双向长短时记忆网络(BiLSTM)改进DAM模型的中文问答匹配方法,该方法采用多头注意力机制,使模型有能力建模较长的多轮对话,更好的处理目标回复与上下文的匹配关系。此外,本文在特征融合过程中采用BiLSTM模型,通过捕获多轮对话中的序列依赖关系,进一步提升选择目标候选回复的准确率。本文在豆瓣和电商两个开放数据集上进行实验,实验性能均优于DAM基线模型,R10@1指标在含有词向量增强的情况下提升了1.5%。
Anthology ID:
2020.ccl-1.30
Volume:
Proceedings of the 19th Chinese National Conference on Computational Linguistics
Month:
October
Year:
2020
Address:
Haikou, China
Venue:
CCL
SIG:
Publisher:
Chinese Information Processing Society of China
Note:
Pages:
313–323
Language:
Chinese
URL:
https://www.aclweb.org/anthology/2020.ccl-1.30
DOI:
Bib Export formats:
BibTeX MODS XML EndNote
PDF:
http://aclanthology.lst.uni-saarland.de/2020.ccl-1.30.pdf