1 实战目标

  • 至今专栏的访问量

  • 至今从搜索引擎引流过来的专栏的访问量

2 实战流程

3 可视化显示

  • 使用Spring Boot整合Echarts

  • 阿里云DataV数据可视化框架

4 教程概要

  • 初识实时流处理

  • 日志收集框架Flume

  • 消息队列Kafka

  • 实战环境搭建

  • Spark Streaming入门

  • Spark Streaming进阶

  • Spark Streaming集成Kafka

  • Spark Streaming集成Flume

5 计划

  • 整合Flume、Kafka、 Spark Streaming打造通用的流处理平台基础

  • Spark Streaming项目实战

  • 数据处理结果可视化

  • 拓展

6 前提

  • 熟悉Linux基本命令

  • 熟悉Scala/Python/Java

  • 有Hadoop和Spark基础

7 环境

  • JDK : 1.8

  • Hadoop: CDH ( 5.7 )

  • Scala : 2.12

  • Spark: 2.4.1