20230907-国金证券-量化漫谈系列之六_ChatGLM部署与Langchain知识库挂载-为大模型插上翅膀_16页_2mb

总结

背景与问题

自去年底ChatGPT发布以来，大语言模型在投研领域展现了重要作用，但存在专业度不足、数据隐私风险和信息不及时的问题。这些问题影响了模型在金融工程中的实际使用。

解决方案

推荐使用Langchain开源框架结合本地部署的大语言模型（如ChatGLM2-6B）来提升模型性能。Langchain框架通过挂载本地知识库，实现文本向量化存储和相似性搜索，提高回答的专业性和效率。具体部署可在消费级显卡上完成，降低成本。

Langchain框架介绍

• 原理：将本地文档切分、向量化后存入向量数据库，用户提问时进行相似性搜索，并将结果嵌入提示模板对模型提问。
• 模块：包括文档加载器（如CSVLoader、PyPDFLoader）、文本分词器、嵌入模型（如text2vec-base-chinese）、向量数据库（如Faiss或Chroma）以及Chain/Agent模块，用于任务拆解和自动执行。
• 应用案例：在研报问答、信息提取和多文本总结中，Langchain能显著提升回答质量，支持自动更新知识库，便于日常使用。

主流开源模型对比

• 通过SuperCLUE和OpenCompass测评，ChatGLM2-6B在中文能力上表现优异，其次为InternLM、Qwen等。GPT-4在英文和综合能力领先，但需考虑成本。开源模型更适合本地部署，避免数据隐私问题。

应用测试与结果

在投研场景（如行业研报、金工因子分析、券商观点总结）中测试Langchain+ChatGLM2组合：

• 回答质量提升，能准确从知识库中匹配相关文本并整合输出。
• 示例显示，在金融专业知识查询、数据更新和多文档总结中，模型输出更专业、及时。

风险提示

• 大语言模型基于上下文预测，不能保证绝对准确性，可能导致误导。
• Langchain效果高度依赖知识库质量、提示模板设计和模型能力，如果配置不当，回复效果可能不佳。

结论

Langchain与ChatGLM2结合是提升大语言模型在金融工程应用中的高效、便捷和安全的低成本方案。尽管存在一定风险，但在自动化信息处理和投研支持方面具有显著优势。