【YouGov】2024品牌追踪中的响应质量白皮书-利用感知交叉熵_ACE_检测响应异常_20页_6mb
报告摘要
总结：提升品牌追踪中的响应质量
核心内容
本文探讨了YouGov在品牌追踪（BrandIndex）中为提高数据质量所采取的一系列措施，特别是引入了一种新的方法——Awareness Cross Entropy (ACE)，用于检测响应异常。
主要观点
- 品牌追踪的目标是测量消费者对品牌的看法变化，并理解这些变化的原因。数据质量问题始终是追踪研究中的关注点。
- 数据质量的三个关键要素包括：代表性、完整性、准确性。其中，响应质量尤其重要，因为低质量的响应会直接影响品牌追踪的其他指标。
- 传统方法的不足在于其间接性，无法直接基于品牌追踪指标本身进行判断，而响应质量对品牌追踪至关重要。
- ACE方法的优势在于它直接比较个体对品牌意识的响应与整体人群的响应模式，从而识别异常回答。
关键信息
1. 数据质量挑战
- 样本构成的变化可能影响时间序列对比。
- 调查农场和机器人活动威胁数据完整性。
- 响应者参与度下降导致追踪数据噪声增加。
2. YouGov采取的数据质量措施
- Paradata分析：包括浏览器、设备、网络等信息，用于识别异常行为。
- 速度检查：快速回答可能表明不参与或机器人行为。
- 注意力检查：通过特定问题检测是否认真阅读。
- 一致性检查：检测回答是否在不同问题间或时间上保持一致。
- 开放回答分析：用于判断回答是否认真或具有针对性。
3. 响应质量评分（RQS）
- YouGov使用超过600个预测因子，通过机器学习计算RQS。
- RQS用于识别不可靠的受访者，但不会自动将其从面板中移除，而是引导至进一步的响应质量调查。
- ROC曲线和AUC值用于评估RQS的性能，AUC为0.85，表明模型具有较高预测能力。
4. Awareness Cross Entropy (ACE)
- ACE通过比较个体对品牌意识的响应与整体人群的响应模式，识别异常回答。
- ACE基于信息熵的概念，衡量个体回答与整体分布的偏离程度。
- ACE值高意味着受访者可能在随机选择，从而导致数据不可靠。
5. ACE的计算
- 对于每个品牌，定义 $x_k$ 为是否知晓该品牌。
- $p_k$ 为整体知晓率。
- ACE公式为：
$$
H(x, p) = - \sum_{k=1}^{K} \left{x_k \log p_k + (1 - x_k) \log (1 - p_k) \right}
$$ - ACE值高表示受访者可能在随机回答，特别是在高知晓率的行业中，随机选择少数品牌会导致高ACE值。
6. ACE的实用性
- 在高知晓率行业中，ACE能有效检测随机选择的受访者。
- 在低知晓率行业中，ACE能识别过度回答的受访者。
- ACE的计算依赖于对 $p_k$ 的估计，通常使用过去六个月的数据。
7. 实际应用效果
- 2023年，YouGov因速度问题移除了更多受访者。
- 在品牌意识追踪中，ACE显著提升了对异常回答的检测能力。
- 香港由于高比例的模拟器使用和异常回答，成为数据质量问题最严重的地区之一。
数据表现
3.1 Paradata检测结果（按国家）
| 国家 | 无异常活动 | 模拟器活动 | 子网活动 | 已知欺诈者 | 重复设备指纹 | 使用VPN/代理/Tor | 爬虫活动 |
|---|---|---|---|---|---|---|---|
| 埃及 | 95.5% | 2.9% | 0.1% | 0.2% | 1.2% | <0.1% | <0.1% |
| 阿联酋 | 94.2% | 1.6% | 0.3% | 0.8% | 2.9% | 0.3% | <0.1% |
| 英国 | 93.9% | 1.1% | 1.5% | 1.2% | 2.1% | 0.1% | <0.1% |
| 沙特阿拉伯 | 93.8% | 1.8% | 0.3% | <0.1% | 3.1% | 1.0% | 0.0% |
| 挪威 | 92.4% | 2.0% | 0.5% | 2.6% | 2.4% | 0.2% | 0.0% |
| 澳大利亚 | 92.0% | 1.7% | 0.5% | 4.1% | 1.7% | <0.1% | <0.1% |
| 印度 | 91.5% | 5.8% | 0.9% | 0.5% | 1.1% | <0.1% | <0.1% |
| 美国 | 90.2% | 1.8% | 0.3% | 5.6% | 1.5% | 0.6% | <0.1% |
| 丹麦 | 89.7% | 1.9% | 2.3% | 4.0% | 2.1% | <0.1% | <0.1% |
| 爱尔兰 | 88.5% | 4.3% | 3.3% | 1.1% | 2.9% | <0.1% | 0.0% |
| 印度尼西亚 | 84.8% | 0.9% | 7.9% | 1.7% | 4.2% | 0.4% | <0.1% |
| 香港 | 66.5% | 26.6% | 0.5% | 1.2% | 5.1% | <0.1% | <0.1% |
3.2 响应质量指标
| 指标 | 高质量受访者失败率 | 低质量受访者失败率 | 比率 |
|---|---|---|---|
| 选择多选题第一选项超过50% | 0.1% | 7.3% | 144.9 |
| 页面和问卷时间异常 | 0.3% | 25.3% | 77.0 |
| 报告使用Mac但检测到Windows系统 | 0.4% | 15.4% | 39.8 |
| 政治倾向与偏好不一致 | 0.4% | 11.7% | 31.9 |
| 报告曾去过利希特斯坦 | 0.4% | 11.5% | 29.9 |
| 政治开放回答无意义或重复 | 3.5% | 29.2% | 8.3 |
| 网格问题直选 | 2.6% | 15.9% | 6.2 |
| 报告时区与居住州不一致 | 9.6% | 46.0% | 4.8 |
结论
YouGov通过一系列数据质量措施，包括Paradata分析、速度检查、注意力检查、一致性检查和开放回答分析，显著提升了BrandIndex的数据质量。特别是引入ACE方法，直接检测品牌意识响应中的异常，提高了品牌追踪的准确性。这些措施在不同国家表现不一，尤其在某些地区如香港，数据质量问题更为突出。ACE方法基于信息熵，能有效识别随机回答的受访者，从而提升整体数据的可靠性。
展开完整摘要
试读结束，高清完整版pdf/doc/ppt,请点下载