用户偏爱LLM生成内容——直到发现是AI所为_13页_302kb

文档总结：用户对LLM生成内容的偏好变化

核心内容

本文探讨了用户在不知情或知情的情况下对人类和大型语言模型（LLM）生成内容的偏好差异。研究通过控制实验，分析了用户在面对不同来源的回答时，如何评估其质量和可信度。研究结果表明，尽管用户通常倾向于AI生成的内容，但一旦知道内容来源，这种偏好会显著减弱，反映出用户对AI生成内容存在一定的偏见。

主要观点

• 用户偏好：在未被告知来源的情况下，用户普遍更喜欢AI生成的回答。
• 来源披露的影响：当用户知道回答来自AI时，他们更倾向于选择人类生成的回答，表明来源披露对用户评价有显著影响。
• 性别差异：女性用户对人类生成内容的偏好显著高于男性用户。
• 技术背景的影响：具备编程技能的用户在知情情况下更倾向于选择人类生成的回答。
• 领域差异：在人文学科和生命科学领域，用户对人类生成内容的偏好更明显，而在物理科学和工程领域则没有显著差异。

关键信息

研究方法

• 实验设计：研究采用随机对照实验，参与者被随机分配为知情组或不知情组。
• 数据来源：使用Quora和Stack Overflow上的热门问题，涵盖五个领域：物理科学与工程、生命科学、健康科学、社会科学和人文学科。
• 样本规模：共收集了993份有效回答，其中846份为最终样本。
• 参与方式：通过Prolific.com平台进行调查，参与者每小时获得9英镑的报酬。

回归分析

• 变量设定：使用逻辑回归分析，以是否选择人类生成回答为因变量，以是否知情为自变量。
• 控制变量：包括性别、年龄、教育水平、专业领域、编程技能、AI模型和问题领域。
• 模型结果：
  • 知情组对人类生成回答的偏好显著高于不知情组。
  • 女性参与者对人类生成回答的偏好显著。
  • 编程技能较强的参与者在知情情况下更倾向于选择人类生成回答。
  • 在人文学科和生命科学领域，知情组对人类生成回答的偏好更显著。

结论

• 信任与偏见：来源披露可以显著改变用户对AI生成内容的信任度，反映出对AI内容的偏见。
• 应用意义：研究结果对AI在商业沟通、公共信息和教育等领域的应用具有重要意义，强调了透明度在提升AI内容可信度方面的作用。
• 未来研究方向：建议进一步研究非文本媒体、增强人类与AI协作内容，以及不同文化和媒体环境下的来源披露影响。

局限性

• 仅限文本内容：研究仅涉及文本内容，未涵盖图形、音频等非文本形式。
• 样本多样性：虽然样本量较大，但可能无法完全代表更广泛的人口文化、技术和人口统计特征。
• 自我报告偏倚：研究依赖于自我报告和实验中的选择行为，可能存在社会期望效应或需求效应。
• 未涵盖增强型内容：未研究增强型人类或增强型AI生成内容的影响。

伦理声明

• 伦理标准：研究遵守ACL伦理准则，符合ACL 2023的伦理指南。
• 数据处理：所有数据收集过程均获得知情同意，并对数据进行匿名化处理以保护隐私。
• 风险考量：研究强调了AI生成内容可能带来的偏见和误用风险，并倡导人类监督以确保AI内容的适当性。

附录与补充信息

• 问题列表：在附录A.1中提供了所有问题的完整列表。
• 回答长度统计：在附录A.2中提供了回答长度的详细统计数据。
• 人口统计分析：在附录B.1和B.2中提供了按知情组和人口统计特征划分的详细统计信息。

参考文献

• Acerbi & Stubbersfield (2023)：LLM在信息传递实验中表现出类似人类的内容偏见。
• Ayers et al. (2023)：比较医生和AI聊天机器人对患者问题的回答。
• Boutadjine et al. (2024)：人类与机器：AI生成内容的检测比较研究。
• Brynjolfsson et al. (2025)：AI在工作中的应用。
• Cevik et al. (2024)：AI生成图像和LLM对外科医生形象的偏见评估。
• Chen et al. (2024)：消费者对AI生成广告的态度。
• Costello et al. (2024)：通过与AI对话减少阴谋论信念的研究。