2017-【技术驱动未来分会场】Scaling_Predictive_Analytics_with_Data_Science_Automation_14页-3mb

文档总结：Scaling Predictive Analytics with Data Science Automation

核心内容

本文档主要介绍了一种名为 Featuretools 的数据科学自动化工具，它旨在简化和加速特征工程的过程，从而提升预测分析的效率。文档由 Max Kanter 撰写，他是 Feature Labs 的 CEO，同时也是 MIT 的计算机科学与人工智能实验室的前研究员。他曾在 Twitter、Hewlett Packard、The New York Times 和 Fitbit 等知名公司担任工程师。

主要观点

• 数据科学自动化的重要性：随着数据科学的应用越来越广泛，手动进行特征工程变得低效且容易出错。自动化工具可以显著提升效率，减少重复劳动。
• Featuretools 的功能：Featuretools 是一种数据科学自动化工具，能够自动从数据中生成特征，支持多种数据源和数据库，适用于各种行业。
• DFS（Deep Feature Synthesis）：这是 Featuretools 的核心技术，通过定义“原始”函数，应用这些函数到数据列或关系中，并将它们堆叠起来形成复杂的特征计算。
• DFS 的优势：DFS 能够快速生成大量特征，提高模型的性能，并且已经在多个实际案例中被验证其有效性，例如客户行为分析、重复购买预测和客户流失预测。
• 实际应用案例：文档展示了 Featuretools 在实际数据库中的应用，例如通过 DFS 从客户数据中生成特征矩阵，并提供了部分输出结果。

关键信息

Featuretools 的特点

• 易用性：Featuretools 可以免费安装和使用，适合初学者和有经验的数据科学家。
• 自动化：通过 DFS 技术，Featuretools 能够自动进行特征工程，减少人工干预。
• 可扩展性：支持多种数据源和数据库，适用于不同规模的企业和行业。
• 高效性：能够节省大量时间，提升数据科学家的工作效率。

DFS 的工作流程

1. 定义原始函数：创建一组基本的函数，用于对数据列或关系进行简单的转换。
2. 应用原始函数：将这些函数应用到数据列或关系上，生成基础特征。
3. 堆叠特征：将多个基础特征组合起来，形成更复杂的特征计算。

DFS 的效果

• 在 Kaggle 上测试，Featuretools 被 1000 名数据科学家使用，平均达到 92% 的最高得分。
• 通过使用 DFS，数据科学家平均节省了超过 1200 天的时间。

应用场景

• 客户行为分析：通过 DFS 生成客户行为特征，帮助预测客户流失和重复购买。
• 经济、能源、健康、销售与营销、金融、供应链、农业、网络安全、设备与 IOT、体育、教育、制造、企业运营：DFS 能够广泛应用于这些领域，以提升预测分析的能力。

总结

Featuretools 是一种强大的数据科学自动化工具，利用 DFS 技术实现特征工程的自动化，从而提高预测分析的效率和准确性。它适用于各种行业和数据源，能够显著节省数据科学家的时间，并提升模型性能。文档强调了数据科学自动化在现代数据驱动决策中的重要性，并展示了 Featuretools 在实际应用中的优势和效果。