量化漫谈系列之六：为大模型插上翅膀，ChatGLM部署与Langchain知识库挂载-20230907-国金证券-16页_1mb

金融工程组：ChatGLM部署与Langchain知识库挂载总结

核心内容

本报告由国金证券金融工程组撰写，旨在探讨如何利用开源大语言模型ChatGLM2-6B与Langchain框架进行知识库挂载，以提升大模型在投研场景中的使用体验和效果。报告重点分析了ChatGPT等通用大语言模型在实际使用中的局限性，并提出了使用Langchain与本地化部署大模型的解决方案。

主要观点

• ChatGPT使用现状：虽然ChatGPT在投研领域表现出色，但在专业性、数据隐私性和信息时效性方面存在不足。
• Langchain框架优势：Langchain是一个开源框架，能够整合LLM、向量数据库、提示模板等模块，支持本地知识库挂载，提升模型专业性、信息及时性和使用便捷性。
• 知识库挂载流程：包括文档加载、文本分割、向量化处理、存储到向量数据库、相似性搜索与提示模板结合，从而得到更准确的回答。
• 模型选择与部署：推荐使用ChatGLM2-6B，因其在中文能力测评中表现良好，且量化后可在消费级显卡上运行。
• Langchain模块功能：包括Loader、Splitter、Embedding、Vector Database、Chain、Agent等，支持多种应用场景。
• 模型对比分析：在中文测评中，国产大模型如ChatGLM2-6B、InternLM、Qwen等表现优异；在英文测评中，GPT-4、ChatGPT等仍占优势。

关键信息

一、ChatGPT等通用大语言模型使用现状

• ChatGPT在量化策略构建中有一定应用，但存在以下问题：
  • 专业知识匮乏：模型缺乏特定领域的专业知识，影响投研准确性。
  • 数据隐私问题：虽然官方声称不泄露用户数据，但存在数据被用于训练的风险。
  • 信息时效性不足：训练数据截止于2021年9月，无法回答最新资讯。

二、Langchain知识库框架介绍

• 原理：将本地文档进行向量化后存储于向量数据库，通过相似性搜索匹配相关段落，结合提示模板对大模型提问。
• 主要模块：
  • Loader：支持多种文档格式的加载。
  • Splitter：对长文本进行分割，提高搜索效率。
  • Embedding：使用Huggingface等平台的模型进行文本向量化。
  • Vector Database：支持Faiss、Chroma等数据库。
  • Chain：封装任务流程，提升自动化能力。
  • Agent：支持任务识别、拆解、工具调用与结果整理，例如ReAct框架。
• 应用场景：支持新知识掌握、多文本总结、信息搜集等。

三、主流开源大语言模型对比

• 模型分类：包括LLaMA、ChatGLM、InternLM、Qwen等，大部分基于Transformer架构。
• 中文测评排名（截至2023年8月）：
  • 1. InternLM-Chat-7B-8K
  • 2. Qwen-7B-Chat
  • 3. ChatGLM2-6B
• 英文测评排名：
  • 1. GPT-4
  • 2. ChatGPT
  • 3. StableBeluga2
• 评价指标：包括语言能力、推理能力、学科综合能力、理解能力等，SuperCLUE和OpenCompass是常用的测评平台。

四、ChatGLM2模型+Langchain知识库挂载

• 模型部署：
  • 推荐使用GitHub官方项目代码进行部署。
  • 支持INT4量化，显存需求降低至6GB，适用于消费级显卡。
• 知识库挂载：
  • 使用Langchain进行本地研报向量化与挂载。
  • 支持多场景应用，如行业研报、金工研报、策略及宏观研报。
  • 提示模板设计有助于提升问答质量，如格式化回答、多文档总结等。
• 应用案例：
  • 挂载行业研报后，模型能够准确回答营业收入等具体数据。
  • 挂载金工研报后，模型能够准确识别并定义高频选股因子。
  • 挂载策略及宏观研报后，模型能够总结多家券商的行业配置观点。

风险提示

1. 回答准确性：大语言模型基于上下文预测，不能保证回答的准确性，可能误导用户判断。
2. 框架效果依赖：Langchain的效果与知识库质量、提示模板设计及大模型能力密切相关，配置不当可能导致效果不佳。

总结

本报告指出，ChatGPT在投研场景中存在专业性不足、数据隐私性问题及信息时效性限制，而Langchain框架配合本地部署的大语言模型（如ChatGLM2-6B）能够有效解决这些问题。通过知识库挂载，模型在专业性和信息准确性方面得到显著提升，成为低成本提升使用体验的优选方案。同时，报告对主流开源大语言模型进行了对比分析，为投资者提供了更全面的模型选择依据。