2016年-Talkingdata_【智能数据技术峰会】天下营销唯快不破_16页_1mb

报告摘要

天下营销，唯快不破 - TalkingData营销云技术实践总结

核心内容概述

本演讲围绕智能数据时代的营销实践展开，重点介绍了TalkingData营销云的技术架构与挑战，并深入探讨了快速人群预估能力在广告行业中的应用。主讲人姜伟强调了“快”在智能数据营销中的重要性，以及如何通过技术手段实现高效的数据处理与分析。

主要观点

智能数据时代的来临：随着数据量的激增，传统的数据处理方式已无法满足广告行业的实时需求，智能数据技术成为必然趋势。
“快”的重要性：在广告行业中，快速响应与分析能力直接影响营销效果，是提升竞争力的关键。
“快”的代价：虽然快速处理数据能带来效率提升，但也伴随着数据精度、稳定性与资源消耗等方面的挑战。

营销云的核心功能

营销云是一个集数据收集、处理、分析与应用于一体的系统，旨在为广告行业提供高效、精准的营销支持。其核心功能包括：

人群构建服务：
- 标签构建：支持1亿设备，处理时间小于5秒。
- 上传构建：支持1亿设备，处理时间小于5分钟。
- Lookalike构建：从1万到100万~2000万设备，处理时间小于15分钟。
- 人群预估：支持方圆5公里范围内100万设备，处理时间小于1秒。
人群画像服务：支持15个维度的数据分析，处理时间小于10分钟。
数据投放服务：支持5种ID类型的数据处理，处理时间小于10分钟。
前置机服务：支持RTB（实时竞价）查询，处理5亿设备数据，响应时间小于5毫秒，支持6000 QPS。

技术挑战与解决方案

数据组织与规划

数据收集：采用Satisfy Collect工具，支持批量与流式数据采集。
数据处理：
- Ingest：使用Magpie进行数据摄入。
- Prepare：通过Labeling Service进行数据预处理。
- Analyze：利用Sampling Service进行数据抽样分析。
- Publish：通过Seagull与Snipe发布数据结果。

Bitmap计算引擎

数据分片：采用offset与Horizontal Sharding技术实现数据分片，提高计算效率。
架构：
- Bitmap Proxy：作为应用层代理，采用Round-Robin机制分发请求。
- Rest Service：提供基于表达式的bitmap计算接口（如and、or、xor、count）。
- Bitmap Server：作为计算引擎，具备分布式计算能力，计算完成后自动存储结果。
- RocksDB：作为持久化层，支持高效的Key-Value存储。
抽样能力：针对数据体量庞大、单一维度精度要求不高的场景，Bitmap计算引擎具备强大的抽样能力，能够在保证效率的同时提供合理的数据精度。

Lookalike算法

算法特点：Lookalike算法在速度、精度与稳定性方面表现出色，是营销云的重要组成部分。
技术优势：
- 速度提升100倍；
- 精度更高；
- 稳定性更强；
- 传统树算法难以并行化，而Lookalike算法具备良好的并行处理能力。

快速人群预估能力

技术实现：基于地理围栏（Geo-fencing）技术，快速预估特定人群的分布情况。
应用场景：用于广告投放、用户定位等需要快速响应的业务场景。

远景技术规划

开源Bitmap计算引擎：计划将Bitmap计算引擎开源，以推动行业技术共享与进步。
机器学习优化人群分段：引入机器学习技术，对人群分段进行优化，提升营销效果。
探索更多提升“快”的方法：持续研究新的算法与架构，以进一步提高数据处理与分析的效率。

总结

TalkingData营销云通过高效的数据组织与规划、强大的Bitmap计算引擎、精准的Lookalike算法以及快速的人群预估能力，为广告行业提供了全面的数据支持。其技术架构强调“快”，并在速度、精度与稳定性方面取得了显著成果。未来，营销云将继续探索开源、机器学习与更高效的计算方法，以实现更智能、更快速的营销解决方案。