logo头像
Snippet 博客主题

Spark

Spark大数据开发之一:给会员打标签

一、开发需求 根据会员的基础信息(性别、年龄、生日等)和Pos消费记录,给每个会员打标签。 标签分为如下几类:人口属性、地域属性、购物偏好、RFM基础标签、购物行为。 二、数据准备 生成hive宽表:会员基础信息表左关联P...

Spark大数据开发之二:圈人,找出满足规则的人群

一、开发需求 根据任务规则,圈出符合规则的所有会员,以方便运营针对这些会员做特定的营销活动。 一次有多个任务需要圈人。 常见任务规则如下。 二、数据准备 Mysql中的规则表。 Hbase中的会员标签表。Spark大数据...