NBER美国国民经济研究局-NBER-Text-Selection_58页_1007kb

报告摘要

文档总结：Hurdle Distributed Multinomial Regression (HDMR) 在文本分析中的应用

核心内容

本文提出了Hurdle Distributed Multinomial Regression (HDMR)，一种用于文本分析的高维选择模型。该模型旨在解决文本数据的两个主要挑战：高维度和稀疏性。文本数据通常包含大量词汇（如数百万个短语），且大多数短语在大多数文档中出现次数为零。HDMR通过将语言选择分解为两个部分——选择方程（是否使用某个短语）和重复方程（使用后重复次数）——来提高文本数据的预测性能。

主要观点

文本数据的高维度与稀疏性：文本数据的高维度源于其包含大量词汇，而稀疏性则体现在大多数短语在文档中出现次数为零。
HDMR模型的优势：HDMR通过将文本选择过程分为两个独立部分，解决了传统多分类逻辑回归在高维文本数据中的计算瓶颈，同时能更好地捕捉文本中的选择行为。
HDMR的结构：模型包含两个部分：
- 选择方程：决定是否包含某个短语（$h_{ij}$），使用二元选择模型（如Logit或Probit）。
- 重复方程：在短语被包含的前提下，决定其重复次数（$c_{ij}^*$），使用截断泊松或负二项分布。
经济意义：HDMR借鉴了Heckman（1979）的选择模型思想，将文本分析与经济理论相结合，强调文本中选择行为对经济变量预测的重要性。
计算效率：HDMR支持并行计算，提高了模型的可扩展性，适用于大规模文本数据处理。

关键信息

模型定义

HDMR模型通过以下方式定义文本选择过程：

$$
h_{ij}^* = \gamma_i + \kappa_j + \boldsymbol{w}i' \boldsymbol{\delta}j + v{ij}
$$
$$
h{ij} = \mathbf{1}(h_{ij}^* > 0)
$$
$$
c_{ij}^* = \lambda(\mu_i + \alpha_j + \boldsymbol{v}i' \boldsymbol{\varphi}j) + \varepsilon{ij}
$$
$$
c{ij} = (1 + c_{ij}^*) h_{ij}
$$

其中，$h_{ij}$ 表示短语 $j$ 是否被包含在文档 $i$ 中，$c_{ij}$ 表示其出现次数。

与传统模型的对比

传统多分类逻辑回归（DMR）：在高维文本数据中计算不可行，因为需要对所有短语进行联合估计。
HDMR的优势：
- 显式建模选择行为，提高预测准确性。
- 支持并行计算，适用于大规模数据集。
- 比支持向量回归（SVR）更适用于非文本控制变量的建模。

应用实例

国会演讲的党派性分析：
- 早期党派性主要体现在短语的重复使用上。
- 自1990年代以来，党派性更多体现在短语选择的差异上。
- HDMR能区分“包含”和“重复”两种类型的党派性，揭示了政治家在不同时期的语言策略变化。
金融中介资本比率（ICR）的回溯预测：
- 使用《华尔街日报》文本数据回溯预测ICR，发现HDMR在预测性能上优于DMR。
- ICR作为中介资产定价理论的重要变量，其历史预测有助于理解资产价格与文本之间的关系。
宏观指标的预测与实时分析（Nowcasting）：
- HDMR在文本数据基础上显著提升了对非农就业和住房开工等宏观指标的预测能力。
- 文本数据的稀疏性与维度扩展对预测效果有积极影响。