【T112017-教育生态与人才培养分会场】OpenDataOpenValue-数据科学合作研究平台的探索与实践_16页_1mb

文档内容总结

核心内容

本文档围绕数据科学合作研究平台的探索与实践展开，重点介绍了Smart Data Lab及其AutoModel工具的原理和应用。文档还涉及了数据整合隔离层、容器化趋势、数据平台架构以及协作、分享与评判机制等方面的内容。

主要观点

1. 数据整合与隔离

• 数据整合是数据科学平台的重要环节，需要解决数据安全与隐私问题。
• 数据整合隔离层是实现这一目标的关键技术，支持隔离、共享、只读等不同数据访问模式。
• 数据存储系统包括HDFS、S3、Local和DB，这些系统在数据处理中扮演重要角色。

2. 容器化趋势

• 容器化是当前数据科学平台发展的重要趋势。
• 然而，容器化也存在一些问题，例如资源管理、安全性、可扩展性等。
• 容器平台化是未来发展的方向，旨在提高资源利用率和平台的稳定性。

3. 数据平台架构

• 数据平台分为应用层和计算层。
• 应用层包括Native Cloud和Public Cloud，分别代表本地化和云化的数据处理方式。
• 计算层支持多种计算资源，如计算机和MLlib，提供灵活的算法支持。

4. 协作、分享与评判

• 平台支持协作、分享和评判，促进数据科学家之间的合作。
• 教程、成果、项目和代码是平台的重要组成部分，帮助用户学习和应用数据科学方法。
• 数据是平台的核心资源，目标是为用户提供高质量的数据支持。

5. AutoModel工具

• AutoModel是Smart Data Lab推出的一款自动化模型构建工具，旨在简化数据科学流程。
• AutoModel支持多种算法，包括sklearn、weka和MLlib，提供横向比较和最佳模型选择功能。
• 该工具的目标是提高模型构建效率，减少人工干预。

关键信息

服务用户

• 5家国内知名高校：提供数据科学支持和资源。
• 6家国内大数据公司：与平台合作，推动数据科学应用。
• 夏令营：为数据分析师和数据科学家提供培训和交流机会。
• 目标用户：全部数据分析师和数据科学家。

发布情况

• 第一版于6月31日发布。
• 第二版于10月下旬发布，包含更多功能和优化。

联系信息

• 联系QQ：2083220015
• 目录链接：mulu.baogaoba.xyz

总结

本文档详细介绍了数据科学合作研究平台的构建与实践，强调了数据整合、容器化、平台架构、协作机制和自动化模型构建的重要性。通过Smart Data Lab和AutoModel工具，平台旨在为高校和企业用户提供高效、安全的数据科学支持。文档还提供了联系信息和发布情况，方便用户获取更多资源和信息。