大语言模型心理测量学系统综述_评估_验证_增强_63页_6mb

大语言模型心理计量学：系统评价与增强方法

预处理阶段

大语言模型通过次线性回归方程组成大规模深度神经网络，擅长自然语言理解和生成。心理计量学提供了一种测量潜在心理特质的新方法，从软件架构视角为心理测量学构建理论化框架。

定义与使命

大语言模型心理计量学是应用于大语言模型（LLMs）的新兴交叉学科，聚焦于通过心理测量方法评价、理解和增强LLMs的能力，涵盖人格特质、认知能力和构念维度等多维度指标。其目标包括基准建立、测量移植、验证框架构建和改进引导。

评价方法论

• 测试格式：包括结构化测试（如多项选择题、量表题）、开放式对话和代理模拟实验。
• 数据来源：采用包括心思测量量表、定制心理倾向量表和自动生成问题等多重方案。
• 评测策略：广泛使用角色扮演、表现增强等技术，如思维链引导。
• 评分方式：包含闭锁输出评分（如对数概率、平均准确率）和开放式输出评分（如模型内评分、关键词分析）。

有效性验证

心理计量学层面涵盖以下三个效度维度：

• 内容效度：分析测试内容与目标构念的相关性，防范文化与语言风险。
• 结构效度：揭示模型内部心理表征，识别独特抽象模式。
• 标准效度：关注模型输出实用于现实情景。

应用策略

通过引入心理计量范式，指导模型工程与评估策略，实现定向增强与系统保障。

未来方向

研究者正在改进效度与可靠性，拓展多语言和多维度交互能力，推动评价体系以人为本，构建更加全面的AI评价框架。

主要结论

大语言模型在特定心理测评中表现可与人类相匹敌，但也暴露了在复杂推理、抽象理解等方面的不足。未来需通过方法标准化与理论创新，构建深度广度兼备的AI评价体系。