北京大学互联网金融情绪指数第二期_25页_1mb

报告摘要

北京大学数字金融研究中心于2017年5月编制了北京大学互联网金融情绪指数，旨在科学、准确、量化地刻画互联网金融及其子类在不同时期的关注度和公众情感态度的变化趋势。该指数涵盖了互联网金融整体及12个子类，包括P2P网络借贷、互联网支付等，是研究互联网金融舆论情绪的重要工具。

互联网金融发展迅速：自2012年谢平提出“互联网金融”概念以来，其发展速度远超传统金融，北京大学互联网金融发展指数显示，在2014年1月至2016年3月期间增长了4.3倍。
负面新闻影响公众情绪：P2P网贷平台问题频发，如“e租宝”事件，导致公众对互联网金融产生质疑，甚至“污名化”。
情感与关注度分化显著：整体关注度呈波动上升趋势，但正负情感态度变化剧烈，各子类在关注度与情感上也存在较大分化。
非结构化信息量化分析：目前，互联网金融的舆论情绪分析仍以非结构化新闻报道为主，缺乏有效的量化工具，本指数填补了这一空白。

数据来源：和讯网，时间跨度为2013年1月至2017年4月，共1594万条新闻，原始数据规模逾500GB。
数据处理流程：
- 数据准备：包括网页抓取、文档解析、分词、专业词库扩充与情感词库构建。
- 主题过滤与筛选：使用朴素过滤器、LDA、HDP等方法，对文档进行分类，确保文档集的纯净性。
- 指数化：将文档归类至子类，并按月度进行加总，标准化为100，以剔除整体新闻数量对指数的影响。

LDA模型：用于识别文档主题，其核心公式为：
$$
\mathrm{p} (\text{词语} \mid \text{文档}) = \sum_{\text{主题}} p (\text{词语} \mid \text{主题}) \times \mathrm{p} (\text{主题} \mid \text{文档})
$$
模型输入为文档，输出为每个文档的主题分布。
HDP模型：作为LDA的扩展，允许自动选择主题数量，适用于文档主题数量不确定的情况。
词向量模型：使用word2vec（CBOW与Skip-gram）来扩展情感词库，识别专业词汇在特定语境下的情感含义。
情感指数构建：
- 使用正向与负向情感词库，结合文档所属子类的概率进行情感分析。
- 情感指数公式为：
  $$
  E_{jt} = \sum_{i}^{D_i \in C_t} Prob_{ij} \times \left( \sum_{k = 1}^{K_{pos}} Pos_k \times Count(W_k, D_i) + \sum_{m = 1}^{M_{Neg}} Neg_m \times Count(W_m, D_i) \right)
  $$
  其中，$Pos_k$ 和 $Neg_m$ 为情感词的权重，$Count(W, D)$ 为词在文档中的出现次数，$Prob_{ij}$ 为文档 $i$ 属于子类 $j$ 的概率。

关注度指数（图表16）：
- 2013年6月至2014年3月，关注度逐步上升，与余额宝推出和互联网金融首次写入政府工作报告相关。
- 2015年12月“e租宝”事件爆发后，关注度显著波动。
正负情感指数（图表17）：
- 2014年3月，互联网金融写入政府工作报告后，正负情感指数进入上升通道。
- 2015年12月，“e租宝”事件引发公众恐慌，正负情感指数出现断崖式下跌。

动态主题模型（DTM）：作为LDA的扩展，DTM允许主题随时间演进，但当前受限于开源工具的开发进度，尚未实现。
开源计划：研究中心决定开源该指数的构建代码，以鼓励更多研究者参与改进与应用。开源的目的是：
- 促进互联网金融研究的进一步发展；
- 提供更多研究素材，推动其他领域的类似分析；
- 鼓励更专业的研究者加入指数编制与分析工作。

整体流程：
1. 数据准备；
2. 主题过滤与筛选；
3. 关注度指数化；
4. 情感指数构建。
流程图：
- 图表1：关注度指数计算流程；
- 图表2：数据准备流程；
- 图表3：主题过滤及筛选流程；
- 图表4：LDA模型示意；
- 图表5：LDA结果示例；
- 图表6：中国餐厅过程；
- 图表7：中国餐厅集团过程；
- 图表8：HDP结果；
- 图表9：LDA归类器识别支付子类不同主题；
- 图表10：动态主题模型；
- 图表11：关注度指数化流程；
- 图表12：情感指数构建流程；
- 图表13：CBOW与Skip-gram模型；
- 图表14：三层神经网络；
- 图表15：“庞氏骗局”近义词输出；
- 图表16：关注度指数结果；
- 图表17：正负情感指数结果。