前言

分布式，是程序员必备技能之一，在面试过程中属于必备类的，在工作中更是会经常用到。而Kafka是一个分布式的基于发布订阅的消息队列，目前它的魅力是无穷的，对于Kafka的奥秘，还需要我们细细去探寻。

Kafka是一个高吞吐量、分布式的发布一订阅消息系统。据Kafka官方网站介绍，当前的Kafka已经定位为一个分布式流式处理平台(a distributed streaming platform),它最初由Linkedn公司开发，后来成为Apache项目的一部分。Kafka 核心模块使用Scala语言开发，支持多语言(如Java、C/C++、Python、Go、Erlang、 Node.js 等)客户端，它以可水平扩展和具有高吞吐量等特性而被广泛使用。目前越来越多的开源分布式处理系统(如Flume、Apache Storm、Spark、Flink等)支持与Kafka集成，通过具体案例详细介绍Kafka与当前一些流行的分布式处理系统的集成应用。

要谈对Kafka有多熟悉，我相信还是阿里的大佬们最有发言权，但当前关于Kafka原理及应用的相关资料较少所以今天分享的内容，就是Alibaba内部供应的“限量笔记”，关于Kafka的精髓全部写在这里面了，不得不感叹：不愧是Alibaba的技术官啊，真的服了！

关于这份Kafka限量笔记，我只能在文章中展示部分的章节内容和核心截图，如果你需要完整的pdf版本可以翻到文末自取！

 

认识Kafka

1.Kafka基本结构

 

2.Kafka基本概念

 

3.Kafka设计概述

 

 Kafka安装配置

1.基础环境配置

  • JDK安装配置
  • SSH安装配置
  • ZooKeeper环境

 

2.Kafka单机环境部署

  • Windows环境安装Kafka
  • Linux环境安装Kafka

 

3.Kafka为分布式环境部署

 

4.Kafka集群环境部署

 

5.Kafka源码编译

  • Scala安装配置
  • Gradle安装配置
  • Kafka源码编译
  • Kafka导入Eclipse

 

 Kafka核心组件

1.延迟操作组件

 

2.控制器

  • 控制器初始化
  • 控制器选举过程
  • 故障转移
  • 代理上线与下线
  • 主题管理
  • 分区管理

 

3.协调器

  • 消费者协调器
  • 组协调器

 

4.网络通信服务

 

5.日志管理器

  • Kafka日志结构
  • 日志管理器启动过程
  • 日志加载及恢复
  • 日志清理

 

6.副本管理器

  • 分区
  • 副本
  • 副本管理器启动过程
  • 副本过期检查
  • 追加消息
  • 拉取消息
  • 副本同步过程
  • 副本角色转换
  • 关闭副本

 

7.Handler

 

8.动态配置管理器

 

9.代理健康检测

 

 Kafka核心流程分析

1.创建主题流程分析

  • 客户端创建主题
  • 分区副本分配

 

2.生产者

  • Eclipse运行生产者源码
  • 生产者重要配置说明
  • OldProducer执行流程
  • KafkaProducer实现原理

 

3.消费者

  • 改版消费者
  • KafkaConsumer初始化
  • 消费订阅
  • 消费消息
  • 消费偏移量提交
  • 心跳探测
  • 分区数与消费者线程的关系
  • 消费者平衡过程

 

Kafka基本操作实战

1.KafkaServer管理

  • 启动Kafka单个节点
  • 启动Kafka集群
  • 关闭Kafka单个节点
  • 关闭Kafka集群

 

2.主题管理

  • 创建主题
  • 删除主题
  • 查看主题
  • 修改主题

 

3.生产者基本操作

  • 启动生产者
  • 创建主题
  • 查看消息
  • 生产者性能测试工具

 

4.消费者基本操作

  • 消费消息
  • 单播与多播
  • 查看消费偏移量
  • 消费者性能测试工具

 

5.配置管理

  • 主题级别配置
  • 代理级别设置
  • 客户端/用户级别配置

 

6.分区操作

  • 分区Leader平衡
  • 分区迁移
  • 增加分区
  • 增加副本

 

7.连接器基本操作

  • 独立模式
  • REST风格API应用
  • 分布式模式
  • Kafka Manager应用

 

8.Kafka安全机制

  • 利用SASL/PLAIN进行身份认证
  • 权限控制

 

9.镜像操作

 

 Kafka API编程实战

1.主题管理

 

2.生产者API应用

 

3.消费者API应用

 

4.自定义组件实现

 

5.Spring与Kafka整合应用

 

 Kafka Streams

1.Kafka Streams基本概念

 

2.Kafka Streams API介绍

 

3.接口恶意访问自动检测

 

 Kafka数据采集应用

1.Log4j集成Kafka应用

 

2.Kafka与Flume整合应用

 

3.Kafka与Flume和HDFS整合应用

 

 Kafka与ELK整合应用

1.ELK环境搭建

 

2.Kafka与Logstash整合

 

3.日志采集分析系统

 

4.服务器性能监控系统

 

 Kafka与Spark整合应用

1.Spark基本操作

 

2.Spark在智能投顾领域应用

 

3.热搜词统计

 

总结

我们总是喜欢瞻仰大厂的大神们，但实际上大神也不过凡人，与菜鸟程序员相比，也就多花了几分心思，如果你再不努力，差距也只会越来越大。实际上，作为程序员，丰富自己的知识储备，提升自己的知识深度和广度是很有必要的，在我看来，自己付出多少，回报就有多少。

Kafka的学习，并没有想象中那么难，这份Kafka限量笔记里面的内容，对你学习Kafka必有启发和帮助。如果你需要这份完整版的Kafka笔记，只需要加下方小助理VX即可免费领取到！