20231101-华安证券-_学海拾珠_系列之一百六十四_MemSum_基于多步情景马尔可夫决策过程的长文档摘要提取_17页_1mb

MemSum模型总结：基于多步情景马尔可夫决策过程的长文档摘要提取

主要贡献与发现

MemSum是一种强化学习模型，将长文档摘要提取建模为多步情景马尔可夫决策过程。模型利用三种编码器（局部句子、全局上下文和提取历史）来优化摘要生成：

• 轻量级结构在PubMed、arXiv和GovReport数据集上实现了最先进的ROUGE分数。
• 不同规模的特征提取器显着提升了性能，其中全局上下文和提取历史编码器显示出最高的效果。
• 独特的停止机制允许模型智能选择摘要长度，避免过长短摘要。
• 消融实验验证了提取历史编码器的核心作用，减少摘要冗余；相比无历史意识模型，性能提升明显。

模型优势：与其他提取摘要方法相比，MemSum生成的摘要更紧凑、低冗余，在长文档上表现优异，而不依赖于大型生成模型。

关键实验结果

• 在PubMed、arXiv和GovReport数据集上，MemSum优于基线模型和生成式摘要方法。
• 人类评估确认摘要质量高，冗余度低。
• 历史感知设计使模型自发避免重复句子。

风险提示：报告基于历史数据和海外文献，结论可能随数据变化，不构成任何投资建议。文献来源包括Association for Computational Linguistics的文章。