一、Flink 流处理简介
1、Flink 是什么
2、Flink全球热度
3、Flink目前在国内企业的应用
4、为什么要使用Flink
5、哪些行业需要处理流数据
6、传统数据处理架构
7、流处理演变
8、Flink主要特点
9、Flink的其他特点
10、Flink VS Spark Streaming
二、Flink 运行架构
1、Flink 运行时的组件
2、任务提交流程
3、任务调度原理
4、程序与数据流(DataFlow)
5、执行图(ExecutionGraph)
6、并行度(Parallelism)
7、任务链(Operator Chains)
三、Flink window API
1、窗口(window)
2、window 类型
3、window API
4、窗口分配器(window assigner)
5、创建不同类型的窗口
6、窗口函数(window function)
7、其它可选 API
8、window API 总览
四、Flink 中的时间语义和 watermark
1、时间(Time)语义
2、哪种时间语义更重要
3、在代码中设置 Event Time
4、乱序数据的影响
5、水位线(Watermark)
6、watermark 的特点
7、watermark 的传递
8、watermark 的引入
9、TimestampAssigner
10、watermark 的设定
五、Flink 状态管理
1、Flink 中的状态
2、算子状态(Operator State)
3、算子状态数据结构
4、键控状态(Keyed State)
5、算子状态数据结构
6、键控状态(Keyed State)
7、键控状态数据结构
8、键控状态的使用
9、状态后端(State Backends)
10、选择一个状态后端
六、Flink 的容错机制
1、一致性检查点(Checkpoints)
2、从检查点恢复状态
3、检查点的实现算法
4、Flink 检查点算法
5、保存点(Savepoints)
七、Flink 的状态一致性
1、什么是状态一致性
2、状态一致性分类
3、一致性检查点(Checkpoints)
4、端到端(end-to-end)状态一致性
5、端到端 exactly-once
6、幂等写入(Idempotent Writes)
7、事务写入(Transactional Writes)
8、预写日志(Write-Ahead-Log,WAL)
9、两阶段提交(Two-Phase-Commit,2PC)
10、2PC 对外部 sink 系统的要求
11、不同 Source 和 Sink 的一致性保证
12、Flink+Kafka 端到端状态一致性的保证
13、Exactly-once 两阶段提交
八、Flink CEP 简介
1、什么是 CEP
2、CEP 的特点
3、Pattern API
4、个体模式(Individual Patterns)
5、个体模式的条件
6、模式序列
7、模式的检测
8、匹配事件的提取
9、超时事件的提取