20161001-招商证券-招金词酷_金融文本挖掘的分词工具_51页_2mb_2mb

招金词酷总结

核心内容

招金词酷是一款专为金融文本挖掘设计的分词工具，它结合了 jieba 分词模块、搜狗金融词库、Wind 金融词汇以及招商金工总结词汇，以提高金融文本处理的精度。该工具不仅支持对PDF和TXT格式文件进行批量分词，还具备将PDF转换为txt或HTML的功能，极大提升了金融数据处理的效率和准确性。

主要观点

1. 分词工具整合：

   • 招金词酷整合了 jieba、搜狗金融词库、Wind金融词汇以及招商金工总结词汇，以提高分词精度。
   • 通过设置词频，确保金融词汇优先被识别，其中招商金工词汇词频最高，Wind词汇次之，搜狗金融词库再次之，jieba词库最低。

2. 分词精度优势：

   • 在分词精度方面，招金词酷优于 jieba，尤其是在处理公司名称、证券代码等专业词汇时表现更佳。
   • 对比 jieba 和 IK Analyzer，招金词酷在分词过程中避免了过度拆分和不当拆分的问题，提升了信息保留度。

3. PDF处理能力：

   • 招金词酷支持批量处理PDF文件，并将其转换为txt或HTML格式，相较于其他工具如PDF2TXT和VeryPDF，具有更高的信息保留度和更灵活的输出格式选择。
   • 支持将PDF转换为HTML，有利于表格数据的抓取和定位。

4. 性能表现：

   • 在45442篇PDF业绩类公告中，招金词酷的分词成功率为96.18%，且处理时间极短，99%的公告处理时间不足0.1秒。
   • 在得词率方面，招金词酷优于某收费工具，能够有效避免词语损失和重复分词问题。

关键信息

• 安装方法：

  • 安装 jieba 模块：pip install jieba
  • 使用 jieba.load_userdict(file_name) 加载自定义词典，确保词库以UTF-8格式保存。
  • 下载并安装招金词酷工具包，支持32位和64位系统，安装需注意文件夹和文件的路径设置。

• 分词模式：

  • jieba.cut() 支持三种模式：精确模式、全模式、搜索引擎模式。
  • 精确模式适用于金融文本，可避免过度拆分和不当拆分。

• 词库来源与整合：

  • 搜狗金融词库：从搜狗官网下载，需转换为txt格式后使用，收录约12337个词汇。
  • Wind金融词汇：通过Wind终端获取，包括公司简称、全称、证券编号、高管姓名等，收录约10461个词汇。
  • 招商金工总结词汇：根据实际文本整理，收录少量特殊金融词汇，以提高分词准确性。

• PDF转换工具：

  • 支持批量转换PDF为txt或HTML，可处理大量金融公告文件。
  • 需要将PDF文件放入“待转PDF文件夹”，并确保该文件夹为空。
  • 转换后的文件存储在“输出结果文件夹”，可直接用于分词处理。

• 工具优势：

  • 免费、高效、信息保留度高。
  • 支持多种金融术语的精准识别，如公司名称、证券代码、高管姓名等。
  • 提供直观的操作界面，便于用户使用。

使用说明

1. 安装与配置：

   • 安装 jieba 分词模块。
   • 下载并解压招金词酷工具包，安装前需将隐藏文件属性去掉。
   • 通过 jieba.load_userdict(file_name) 加载自定义词典。

2. 操作流程：

   • 将需要分词的PDF或TXT文件放入对应的文件夹中。
   • 启动 zhaojinciku.exe 或 pdfchangetxt.exe，选择文件类型（PDF或TXT）进行分词。
   • 分词结果输出到“分词结果输出”文件夹中。

3. 注意事项：

   • 请勿随意修改或移动工具中的文件夹和文件。
   • 词库需按照设定的词频优先级进行整合，以确保分词效果。
   • PDF文件需为非加密格式，否则无法成功转换。

总结

招金词酷是一款专为金融文本挖掘设计的高效分词工具，通过整合多种词库和优化分词算法，显著提升了金融文本处理的精度和效率。其支持批量处理PDF和TXT文件，并能将PDF转换为HTML格式，便于表格数据的提取和分析。在实际测试中，招金词酷表现出良好的性能，能够处理大量金融公告，且分词准确率高、处理速度快，是金融文本分析的理想工具。