xx客户信息统一平台

Hisen+Flume+Kafka+Spark+HBase+Hive+SmartBI+Moia

多个系统存在独立的客户体系数据，且客户数据质量参差不齐，想要看到客户多个系统的数据需要开发一套接口，效率低下。
所以搭建了客户信息平台，归并客户数据，给客户画像，为特定客群提供精准营销活动。
该系统使用Hisen工具抽取11个系统的离线客户数据，使用Flume进行录音文件、日志、外部系统的数据采集，并编写Kafka消费数据，
提供数据给Spark进行数据处理，存数据到HBase，并建立Hive映射，使用HiveSQL归并客户数据，进行客户标签的设计,通过WEB应用
接口及smartBI提供数据给应用层，供其开发客户画像、客群管理、分析报表等应用。

个人职责
1 通过Hisen同步源系统数据到大数据平台；
2 使用HiveSQL实现各系统客户宽表；
3 使用HiveSQL通过归并规则统一客户数据。


xx银行数据仓库项目

Sqoop+MySQL+HDFS+Presto+Hive+HBase+Moia+SmartBI

随着业务的不断发展，各个业务系统的数据不断增长，传统的关系型数据库难以支持大批量的数据分析，且不同业务系统间数据交互困难，
所以搭建了企业级的数据仓库，以支持复杂的业务分析，为企业决策支持提供数据。
该系统使用sqoop获取来自17个业务系统的数据到大数据平台的ODS贴源层，通过HiveSQL进行数据的ETL处理：在经过数据清洗、规则转换、
脱敏及拉链等处理逻辑进行数据归一化处理，存储到基础层；根据不同主题的mapping映射逻辑，实现7大主题层表的数据加工。之后使用Moia来
作为层级之间的调度工具，供下游进行需求开发。平台上线后报表开发周期缩短了30%，并为驾驶舱和商业智能系统提供了完备的数据支持。

个人职责
1 协助数据建模师进行数据建模；
2 使用sqoop进行数据采集；
3 使用HiveSQL进行数据清洗及逻辑加工；
4 配置及维护Moia作业。