如何从0到1构建用户画像系统_74页_6mb

用户画像系统构建总结

核心内容

用户画像系统的构建是一个从数据收集、处理、建模到最终产品化的过程，主要包含以下阶段：

1. 目标解读：明确用户画像的服务对象和应用场景，确定产品建设目标和预期效果。
2. 任务分解与需求调研：分析业务需求，明确分析维度和标签内容。
3. 需求场景讨论与明确：输出《产品用户画像规划文档》，确认需求和实现方式。
4. 应用场景与数据口径确认：输出《产品用户画像实施文档》，明确数据源、数据模型和实施流程。
5. 特征选取与模型数据落表：根据需求进行业务建模，编写HQL逻辑并存储到临时表。
6. 线下模型数据验收与测试：数据仓库团队进行数据落表，数据运营人员进行数据校验。
7. 线上模型发布与效果追踪：将数据接口部署上线，并通过用户行为追踪优化模型。

主要观点

• 用户画像系统是企业精细化运营的重要工具，能够帮助业务团队更好地理解用户行为和偏好。
• 构建用户画像需要多个阶段的协作，从需求分析到模型上线，每个阶段都有其关键产出。
• 标签是用户画像的核心，分为统计类、规则类和机器学习挖掘类三种类型，其中统计类和规则类标签是大多数业务场景中应用的主要类型。
• 数据架构和表结构设计是构建用户画像系统的基础，需要合理规划数据存储和查询方式。
• 数据仓库是用户画像系统的重要数据来源，提供结构化、集成的数据支持。
• Kafka和Spark Streaming等技术用于处理实时数据，提高数据处理的效率和灵活性。
• 数据产品的设计需要考虑用户交互、数据支持和效果追踪，以实现对业务的真正价值。

关键信息

数据架构

• 数据存储：使用Hive、HBase、MySQL等技术进行数据存储和查询。
• 表结构设计：
  • 日全量表：每天插入全量数据，便于用户查询最新数据。

    CREATE TABLE dw.userprofile_tag_userid (
    tagid STRING COMMENT 'tagid',
    userid STRING COMMENT 'userid',
    tagweight STRING COMMENT 'tagweight',
    reserve STRING COMMENT '预留'
    ) PARTITIONED BY (data_date STRING COMMENT '数据日期', tagtype STRING COMMENT '标签主题分类');
    

  • 日增量表：每天插入增量数据，便于分析特定时间段内的用户行为。

    CREATE TABLE dw.userprofile_useract_tag(
    tagid STRING COMMENT '标签id',
    userid STRING COMMENT '用户id',
    act_cnt int COMMENT '行为次数',
    tag_type_id int COMMENT '标签类型编码',
    act_type_id int COMMENT '行为类型编码'
    ) PARTITIONED BY (data_date STRING COMMENT '数据日期');
    

标签类型

• 统计类标签：基于用户行为数据统计得出，如性别、年龄、近30天活跃次数等。
• 规则类标签：基于预设规则生成，如“消费活跃”用户定义为近30天交易次数 $>= 2$。
• 机器学习挖掘类标签：通过算法挖掘生成，如预测用户性别或商品偏好。

标签命名方式

• 标签id：格式为 标签主题+一级标签id+二级标签id，如 A111U001_001。
• 标签主题：如用户属性、用户行为、用户消费、风险控制等。
• 标签类型：分类型和统计型。
• 开发方式：统计型和算法型。
• 用户维度：userid或cookieid。

标签聚合

• 通过 tagmap 字段将一个用户的多个标签聚合在一起。
• 聚合表结构：

  CREATE TABLE dw.profile_user_map_userid (
  userid STRING COMMENT '用户id',
  tagsmap MAP<STRING, STRING> COMMENT '标签映射',
  reserve1 STRING COMMENT '预留1',
  reserve2 STRING COMMENT '预留2'
  ) PARTITIONED BY (data_date STRING COMMENT '数据日期');
  

数据同步

• 同步方式：使用Sqoop将Hive数据同步到MySQL。
• 同步命令示例：

  os.system("sqoop export --connect jdbc:mysql://xxx.xx.23.142:3307/userprofile --username userprofile --password userprofile --table tag_tmp_userid --export-dir hdfs://master:9000/user/hive/warehouse/dw.db/dw_profile_user_tagservice/data_date=20180901/business=push --input-fields-terminated-by:\001")
  

数据仓库与OLTP/OLAP

• 数据仓库：是用于支持分析查询的数据存储，具有面向主题、集成、稳定和随时间变化的特性。
• OLTP：用于日常事务处理，数据量小、实时性强，通常存储在关系型数据库。
• OLAP：用于数据分析，数据量大、实时性要求不高，通常使用数据仓库。

多维数据模型

• 星形模型：由一个事实表和多个维表组成，适用于简单的分析场景。
• 雪花模型：是对星形模型的扩展，每个维表可以有多个详细类别表，适用于复杂的分析场景。

数据仓库分层

• 数据分层：包括原始数据层、中间层、数据应用层，用于清晰数据结构、清洗脏数据、屏蔽业务影响、数据血缘追踪和减少重复开发。

Kafka与Spark Streaming

• Kafka：用于处理实时数据流，具有高吞吐量和高可用性。
• Spark Streaming：用于实时数据处理，与Kafka集成可实现高效的流式计算。
• Consumer group：用于管理消息消费，确保每条消息被同一个group中的一个consumer消费。
• Receiver模式：用于实时拉取Kafka数据，提高数据处理效率。

需要掌握的模块与技术

大数据模块

• 数据开发：Hive、HBase、MySQL、Kafka、Spark、Spark Streaming、ETL调度（如Airflow、crontab）。

非技术内容

• 数据分析：如何做数据调研、如何结合数据情况给出解决方案。
• 用户画像工程化：标签体系、调度流、监控、数据存储选择。
• 业务知识：标签的应用场景。
• 画像产品形态：产品模块、效果评估方法。

总结

用户画像系统构建是一个系统工程，需要从需求分析开始，逐步进行数据建模、标签开发、数据同步和产品化。数据架构和表结构设计是关键，需要合理选择存储方式和数据模型。标签类型和命名方式也需明确，以确保数据的一致性和可追溯性。同时，数据仓库和Kafka等技术的合理应用，能够提高数据处理的效率和系统的稳定性。通过不断优化和迭代，可以实现对用户行为的深入分析，为业务决策提供支持。