科技行业：AI大模型需要什么样的数据-华泰证券-2023.5.11-44页_2mb

AI大模型需要什么样的数据

核心内容

AI大模型的发展高度依赖于高质量、大规模、多样性的数据集。数据是AI大模型竞争的关键要素之一，不仅影响模型的性能，也决定了其在市场中的竞争力。随着数据的不断积累和合成数据技术的发展，AI模型的训练数据来源和质量将逐步优化。

主要观点

1. 数据的重要性：

   • 高质量数据集能够提升模型精度、可解释性，并缩短训练时间。
   • 大规模数据集有助于提升模型的泛化能力和性能表现。
   • 多样性数据集可以增强模型对不同领域的适应能力。

2. 数据集的构建流程：

   • 数据采集：包括系统日志、网络爬虫、ETL等方式。
   • 数据清洗：处理缺失值、噪声数据和重复数据，确保数据质量。
   • 数据标注：是流程中最关键的环节，决定模型训练效果。
   • 模型训练与测试：利用标注数据训练模型，并进行测试以优化模型性能。
   • 数据维护：持续监测和维护数据，以保证数据的长期可用性。

3. 数据来源：

   • 海外数据集来源包括维基百科、书籍、期刊、Reddit链接、CommonCrawl等。
   • 国内数据集来源相对较少，主要依赖于海外数据，但也有一些本土数据集在逐步形成。

4. 数据处理与合成：

   • 合成数据技术正在发展，有望缓解高质量数据耗尽的问题。
   • Gartner预测到2030年，大模型使用的数据中，合成数据将占主导地位。

关键信息

海外数据集情况

• 维基百科：提供丰富、多语言的文本数据，是训练语言模型的重要资源。
• 书籍：包括Project Gutenberg和BookCorpus，涵盖小说、非小说等多种类型。
• 期刊：如ArXiv和PubMed，为学术研究提供高质量数据支持。
• Reddit链接：WebText数据集，代表流行内容的风向标。
• CommonCrawl/C4：提供大量英文文本数据，是训练语言模型的重要资源。

国内数据集情况

• 国内数据集数量少、规模小，主要依赖于海外数据。
• 数字中国战略将促进数据要素市场的发展，提升数据资源的流通和质量。
• 数据交易所的发展为数据集的流通提供了支持，推动数据交易市场的发展。

数据产业链投资机会

• 数据生产：关注数据资产储备公司、具有优质数据和大模型能力的公司、以及垂直行业数据集。
• 数据处理：关注数据服务企业，特别是那些能够降低人力成本、卡位优质客户的企业。

数据隐私与监管

• 随着AI技术的发展，数据隐私问题日益受到关注。
• 监管方面，全球多个国家和地区出台了相关法律，如《中华人民共和国个人信息保护法》和欧盟《通用数据保护条例》。
• 技术手段，如隐私保护计算，有助于在不泄露原始数据的前提下进行数据处理。

总结

AI大模型的发展离不开高质量、大规模、多样性的数据集。海外开源数据集积累丰富，主要得益于良好的开源生态、免费资源的积累以及学术界和互联网巨头的协作。国内数据集发展相对滞后，但数字中国战略将促进数据要素市场的发展，提升数据资源的流通和质量。合成数据技术的发展将缓解高质量数据耗尽的问题。数据产业链中的生产与处理环节是未来投资的重要方向，数据隐私和监管问题也需要引起重视。