NBER美国国民经济研究局-NBER-Teacher-Effects-on-Student-Achievement-and-Height_-A-Cautionary-Tale_52页_1mb

总结：教师对学生成绩和身高的影响：一个警示故事

核心内容

本研究通过使用纽约市的行政数据，对教师价值增值模型（VAMs）的效度进行了检验。研究者将VAMs应用于一个教师无法合理影响的变量——学生身高，以评估这些模型是否可靠。结果显示，教师对身高的“影响”与对学生成绩的影响相当，但这些影响很可能是由噪声或抽样误差引起的，而非真实的教师效应。

主要观点

• 教师价值增值模型的效度问题：研究发现，教师对身高影响的标准差与对学生成绩影响的标准差相当，这引发了对模型是否有效测量教师真实能力的质疑。
• 教师效应可能为噪声：分析表明，这些“效应”主要是由于随机误差或抽样波动，而非系统性偏差。控制学校效应后，教师对身高影响的效应仍较大，但依然不具实际意义。
• VAMs的局限性：即使模型是无偏的，其统计精度和稳定性也可能存在问题。教师效应估计在不同年份之间存在较大波动，这可能影响教师评价的可靠性。
• 收缩因子的局限性：虽然收缩因子（shrinkage factor）可以减少估计误差，但其对教师相对排名的影响有限，尤其当教师所带学生数量相近时，收缩因子对排名几乎没有影响。

关键信息

数据来源

• 研究使用了纽约市2007年至2010年间4-5年级学生超过36万的面板数据。
• 数据包括学生的数学和英语语言艺术（ELA）成绩，以及来自“Fitnessgram”项目的年度身高测量。
• 身高数据标准化为年级和年份的均值为0，标准差为1，极端值被设为缺失。

教师效应估计方法

• 使用标准的“动态OLS”模型估计教师效应：
  $$
  Y_{it} = \alpha Y_{it-1} + X_{it}'\beta + \gamma_t + u_j + e_{it}
  $$
• 模型控制了学生的先前成绩、性别、种族、年龄、移民状态、英语水平、特殊教育状态、免费午餐参与情况等变量。

教师对身高影响的估计结果

• 估计的教师对身高影响的标准差约为0.22σ（约0.65英寸），与对数学和英语成绩的影响相当（分别为0.29σ和0.26σ）。
• 使用置换检验（permutation tests）发现，教师对身高影响的统计显著性较高。
• 控制学校效应后，教师对身高影响的效应仍保持在0.16σ到0.17σ之间，表明即使控制了学校层面的差异，教师效应依然显著。

对教师效应的解释

• 未观测的排序偏差：教师对身高影响可能反映了学生根据未观测因素（如家庭背景）被分配到不同教师的情况，但研究发现教师对身高和成绩的影响之间相关性接近于零，因此这种解释不成立。
• 噪声或抽样误差：教师对身高影响可能是由随机误差或抽样波动造成的，而非真实效应。
• 无相关性的排序：如果教师对身高影响与成绩无关，那么这些效应不会影响成绩评估的准确性，因此对教育实践的影响较小。

收缩因子的使用

• 收缩因子通过估计信号与噪声的比例来调整教师效应，但其对教师排名的影响有限。
• 在教师所带学生数量相近的情况下，收缩因子对相对排名没有实质影响。
• 仅当使用多年度课堂数据来估计教师效应时，收缩因子才能有效缩小效应的方差。

研究结论

• 教师价值增值模型在实践中可能被误用，因为它们可能检测到非真实的影响。
• 即使模型是无偏的，其估计结果也可能受到噪声和抽样误差的影响。
• 研究强调了在使用VAMs进行教师评价时需要谨慎，并建议进一步探索更稳健的评估方法。