2017-【人本数据和智能分会场】Smart_Data_Lab-数据科学基础设施搭建的探索与实践_18页-3mb

文档总结：Smart Data Lab——数据科学基础设施搭建的探索与实践

核心内容

本文档主要介绍了 Smart Data Lab 在数据科学基础设施搭建方面的探索与实践，围绕数据管理、模型发布、任务管理、社交系统以及资源调度等关键模块展开。文档由 TalkingData 数据科学中心的数据科学家 冯博 主讲，内容涵盖从数据处理到模型上线的完整流程，并强调了标准化、自动化和协作的重要性。

主要观点

• 数据科学基础设施 是支持高效数据分析与模型开发的关键，涉及数据管理、可视化、特征工程、模型发布等多个环节。
• 标准化 是解决数据管理混乱问题的核心手段，通过统一的数据目录和预览机制，提高数据的可访问性和可操作性。
• 自动化 是提升模型发布效率的重要方式，通过 AutoModel 实现一键发布模型，简化了从开发到上线的流程。
• 协作与社交模块 在数据科学团队中起着至关重要的作用，支持数据评论、项目协作、竞赛交流等功能，促进团队成员之间的知识共享与经验传递。
• 计算资源管理 是基础设施的重要组成部分，强调资源的灵活调度与配置，以提高计算效率。

关键信息

数据管理系统

• 提供 目录浏览 和 数据预览 功能，支持文件名搜索。
• 数据可视化模块可展示 基本统计信息 和 自定义统计。
• 采用 责任人制度 来加强数据管理的协作与责任划分。

模型发布系统

• 通过 AutoModel 实现模型发布流程的自动化。
• 支持 Restful API 接口，便于模型的集成与调用。
• 强调 一键发布，降低模型上线的技术门槛。

社交系统

• 提供 数据评论、项目协作 和 竞赛交流 等功能。
• 支持 用户管理，包括 Notebook、Jupyter、Zeppelin 等工具的使用。
• 通过 社交模块 增强团队间的互动与知识共享。

任务管理系统

• 强调 任务管理 的重要性，支持任务的分配、跟踪与完成。
• 通过 Auto-model 实现任务的自动化处理，提高效率。

系统架构

• Smart Data Lab 由多个模块组成，包括数据管理、模型发布、社交系统等。
• 系统架构图展示了各模块之间的关系和数据流。
• 与 6家国内大数据公司 和 5家国内知名高校 有合作，包括 TalkingData 暑期夏令营等项目。

人员与资源

• 冯博 是 TalkingData 数据科学中心的数据科学家，负责主讲内容。
• 文档涉及 全部数据分析师和数据科学家，强调团队协作的重要性。
• 提供了 教程、心得 和 代码 等资源，帮助用户更好地理解和使用系统。

总结

Smart Data Lab 的探索与实践展示了数据科学基础设施搭建的完整流程和关键要素。通过标准化数据管理、自动化模型发布、任务管理和社交协作，Smart Data Lab 为数据科学家和分析师提供了高效的工具和平台，促进了数据科学项目的顺利进行。同时，与多家企业和高校的合作也体现了其在行业中的影响力和应用价值。