20161101-招商证券-招金词酷_金融文本挖掘的分词工具_28页_2mb

数量化投资与招金词酷总结

核心内容

招金词酷是一款专为金融文本挖掘设计的分词工具，基于开源分词工具jieba，并整合了搜狗金融词库、Wind词汇以及招商金工总结词汇三部分增量词库。其目的是提升金融类文本的分词精度，适用于PDF和txt文件的处理，支持批量分词，操作便捷，无需安装Python。

主要观点

• 招金词酷通过优化词频设置，显著提升了金融文本的分词效果。
• 与IK Analyzer和某收费工具相比，招金词酷在分词精度和信息保留度方面表现更优。
• 招金词酷支持PDF文件的批量转换和分词，尤其在处理表格信息时具有明显优势。
• 招金词酷具备良好的稳定性，支持高效率的分词处理，且提供免费使用。

关键信息

一、招金词酷组成部分

1. jieba词库：已收录349,046个常用词汇，主要来源于通用文本。
2. 搜狗金融词库：通过转换工具转换为txt格式，收录12,337个金融词汇。
3. Wind词汇：从Wind获取的公司信息，包括简称、全称、证券编号等，收录10,461个词汇。
4. 招商金工总结词汇：由人工总结的金融特有词汇，收录数量未明确，但重要性高于其他词库。

二、词频设置

• 词频划分：超过70%的词汇词频在10以内，定义为“普通词”；词频大于10的词汇为“招金词酷专属词”。
• 词频优先级：招商金工总结词汇 > Wind词汇 > 搜狗金融词库 > jieba词库。
• 具体词频设定：搜狗金融词库从11开始，Wind词汇依次递增，招商金工词汇设为200。

三、分词精度比较

• 与IK Analyzer对比：招金词酷在分词过程中更精准，能够识别公司名称等关键信息，避免过度拆分。
• 与某收费工具对比：招金词酷在得词率和分词精度上表现更优，且支持批量分词，处理PDF文件时稳定性更高。

四、PDF批量转换工具

• 支持格式：PDF转txt和HTML。
• 优势：免费使用，支持HTML格式，便于表格信息的抓取。
• 与PDF2TXT对比：招金词酷提供免费服务，且支持HTML格式转换，而PDF2TXT仅支持txt格式并为收费工具。

五、使用方法

• 下载地址：http://pan.baidu.com/s/1boKzTdt，密码为35vf。
• 支持系统：仅支持Windows系统。
• 操作步骤：
  1. 下载并解压工具。
  2. 配置环境，确保文件夹属性正确。
  3. 放入需要分词的文件。
  4. 运行程序，选择文件类型（txt或pdf）。
  5. 分词结果输出至指定文件夹。

六、维护方式

• 持续更新：不断扩充词汇量，完善词性，定期淘汰过时词汇。
• 优化词频：保持词库新鲜度，提高重要词汇的识别率。

图表与数据

• 图1：招金词酷组成部分。
• 图2：jieba安装。
• 图3：jieba安装成功界面。
• 图4：自定义词典保存方式。
• 图5：深蓝词库转换工具。
• 图6：jieba词库与搜狗金融词库的关系。
• 图7：招金词酷词频设置。
• 图8：招金词酷工作原理。
• 图9：公告原文。
• 图10：IK Analyzer分词效果。
• 图11：招金词酷分词效果。
• 图12：抽样规则。
• 图13：PDF转化失败示例。
• 图14：得词率比较。
• 图15：收费工具分词效果。
• 图16：招金词酷分词效果。
• 图17：招金词酷文件转化及分词结果。
• 图18：转化时长分布。
• 图19：转化时长与文件大小。
• 图20：分词时长分布。
• 图21：分词时长与文件字符数。
• 图22：招金词酷文件明细。
• 图23：修改文件夹选项。
• 图24：拷贝文件路径。
• 图25：招金词酷工具解压后界面。
• 图26：需要分词的PDF。
• 图27：需要分词的txt。
• 图28：输入需要分词的文件类型。
• 图29：招金词酷程序运行界面。
• 图30：分词结果输出。
• 图31：招金词酷文件夹。
• 图32：格式转换PDF公告示例。
• 图33：转换后的txt文件。
• 图34：转换后的HTML文件。
• 图35：PDF2TXT软件。
• 图36：HTML文件定位表格。
• 图37：PDF转换工具解压后界面。
• 图38：待转PDF文件夹。
• 图39：输入需要转换的格式。
• 图40：招金词酷程序运行界面。
• 图41：PDF转换为HTML格式的输出结果。
• 图42：PDF转换为txt格式的输出结果。

表格信息

• 表1：jieba自定义词典格式。
• 表2：jieba词库示例。
• 表3：搜狗金融词库示例。
• 表4：Wind词汇示例。
• 表5：抽样所得公告标题。
• 表6：PDF批量转txt、HTML工具与PDF2TXT比较。

风险提示与免责声明

• 风险提示：模型和分析基于假设，不能完全准确刻画现实环境和预测未来。
• 分析师承诺：报告内容反映分析师观点，不与分析师薪酬挂钩。
• 投资评级定义：包含公司短期和长期评级，以及行业投资评级。
• 重要声明：报告由招商证券编制，保留所有权利，未经许可不得翻版、复制、引用或转载。