机器学习——深度学习时代铝工程的技术战略（英）-112页_3mb

• 开发集与测试集：

  • 目标：确保开发集和测试集与未来实际数据分布相同，避免分布不一致带来的问题。
  • 划分：通常从原始数据集中划出，避免使用所有数据进行训练。
  • 大小：开发集样本量通常在1000至10000之间，测试集大小根据评估需求调整。
  • 同分布：开发集和测试集应服从相同的分布，防止因分布差异导致性能偏差。
  • 评估指标：使用单值评估指标（如准确率、F1分数）或结合多个指标来高效排序和优化。

• 误差分析：

  • 方法：通过人工检查开发集中的误分类样本（约100个）来定位误差来源，优先优化高影响类别的误差。
  • Eyeball vs. Blackbox：将开发集分为可人工检查子集和 Blackbox 子集，前者用于观察，后者用于自动评估。
  • 需求差异：如应用领域难以人工评估，应调整误差归因或评估方式。

• 避免偏差与方差：

  • 高偏差：提升模型复杂度（如神经网络层数或大小）以减少偏差。
  • 高方差：增加训练数据或添加正则化来降低方差。
  • 学习曲线：绘制训练集和开发集误差随样本量变化的曲线，帮助诊断偏差或方差问题。

• 模型选择与优化：

  • 流水线组件设计：根据实际需求选择是否使用流水线结构，例如在自动驾驶中，组件应由简单任务构成，降低学习难度。
  • 端到端学习：在数据充足时，可用端到端模型绕过流水线；在数据不足时，流水线可能更有效。

• 处理挑战数据：

  • 不一致分布：提供与开发集分布相似的训练数据，并用心设计权重；若权重不可靠，需采用域自适应技术。
  • 错误归因：在多组件系统中，使用实验方法或误差归因而定位具体故障组件。

• 小结：

  • 效率导向：使用开发集测试集和误差分析加速模型迭代。
  • 策略清晰：根据学习曲线选择修复偏差或方差，避免盲目添加数据。
  • 边界认知：深刻理解偏差、方差与数据分布关系，提高调试过程的合理性。

示例总结：

开发集与测试集的选择对模型训练至关重要。它们的作用是提供迭代优化和性能评估的依据。开发集应与实际生产数据服从相同的分布，并且足够大以捕捉到细微的优化效果。测试集的具体大小取决于任务的性质，例如在广告系统中5%的提升也很有意义，但在图像识别中则需要更多样本。

误差分析是优化模型的有力方法，常见做法是有条理地检查算法错误。例如，100个开发集误判样本可帮助识别主要的错误来源，接着可以部署若干并行实验来测试解决方案的可行度。

在策略选择上，偏差和方差是核心考量项。如果学习曲线显示模型在训练集和开发集间的差异很小，那么关注减少偏差，可能需要提升模型复杂度。如果训练集上错误率高而开发集上更高，则需考虑减少方差，比如添加正则化或增加训练数据。

流水线设计是否合理直接关系到模型的灵活性和可解释性。如果单独的组件更易修复且处理后的复合效果超出预期，则分组件学习优势明显。端到端学习对数据量和特征性质敏感，在实际操作中需衡量利弊。

在处理非一致数据或数据粒度不足时，可以适当引入权重调和机制，但仍需谨慎以避免过拟合。错误归因机制有助于找到模型弱点，从而将精力集中在真正需要优化的部分上。

整体上，一个强有力的学习系统需要合理的策略选择、清楚的隐蔽机制以及勤奋的误差分析。开发集测试集与相应评估指标的选择，误差分析方法，减少也可能它和地址等策略的选择，都需要根据任务性质和数据特性具体决策。加强功能设计和数据分析能力，不断提高模型实战表现，是通过这类技术简历发展的关键。