Kafka是一种高吞吐量的分布式发布订阅消息系统,它可以处理消费者规模的网站中的所有动作流数据。 这种动作(网页浏览,搜索和其他用户的行动)是在现代网络上的许多社会功能的一个关键因素。 这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。 对于像Hadoop的一样的日志数据和离线分析系统,但又要求实时处理的限制,这是一个可行的解决方案。Kafka的目的是通过Hadoop的并行加载机制来统一线上和离线的消息处理,也是为了通过集群来提供实时的消息。
而这几年,大数据发展迅猛,Kakfa 凭借高可靠、高吞吐、高可用、可伸缩几大特性,成为数据管道技术的首选,也成了面试官的最爱。
前阵子,有几个朋友跟我吐槽面试,被Kakfa给问懵逼了,有点可惜呀,就这么pass了。细思极恐,想想以后要是我直面面试官,是否也会被疯狂轰炸??所以这几天趁着没啥事儿,四处搜集整理各大企业招聘面试时最爱问的Kakfa问题,分为基础篇+进阶篇+高级篇,一步一个脚印慢慢深入,拿下Kakfa!
01 Kakfa学习思维大纲总结图
先来看份xmind画的一个Kakfa学习思维大纲总结图,由于知识点较多,每个节点都有相应的解析,内容太多,分步截图展示(注意:若是需要原稿Kakfa学习思维大纲总结图以及下面的Kakfa面试疯狂轰炸44问+解析[原稿],<点我> 获取免费下载方式!!)
1.1 介绍+Kakfa独特设计
1.2 Kakfa架构
1.3 Kafka如何搭建及创建topic、发送消息、消费消息?
1.4 环境搭配+测试
1.5 Kakfa开发环境搭建+学习总结来源
02 Kakfa面试疯狂轰炸44问
2.1 Kakfa基础篇
1.Kafka的用途有哪些?使用场景如何?
2.Kafka中的ISR、AR又代表什么?ISR的伸缩又指什么
3.Kafka中的HW、LEO、LSO、LW等分别代表什么?
4.Kafka中是怎么体现消息顺序性的?
5.Kafka中的分区器、序列化器、拦截器是否了解?它们之间的处理顺序是什么?
6.Kafka生产者客户端的整体结构是什么样子的?
7.Kafka生产者客户端中使用了几个线程来处理?分别是什么?
8.Kafka的旧版Scala的消费者客户端的设计有什么缺陷?
9.“消费组中的消费者个数如果超过topic的分区,那么就会有消费者消费不到数据”这句话是否正确?如果正确,那么有没有什么hack的手段?
10.有哪些情形会造成重复消费?
11.那些情景下会造成消息漏消费?
12.KafkaConsumer是非线程安全的,那么怎么样实现多线程消费?
13.简述消费者与消费组之间的关系
14.当你使用kafka-topics.sh创建(删除)了一个topic之后,Kafka背后会执行什么逻辑?
15.topic的分区数可不可以增加?如果可以怎么增加?如果不可以,那又是为什么?
16.topic的分区数可不可以减少?如果可以怎么减少?如果不可以,那又是为什么?
17.创建topic时如何选择合适的分区数?
2.2 Kakfa进阶篇
1.Kafka目前有哪些内部topic,它们都有什么特征?各自的作用又是什么?
2.优先副本是什么?它有什么特殊的作用?
3.Kafka有哪几处地方有分区分配的概念?简述大致的过程及原理
4.简述Kafka的日志目录结构
5.Kafka中有哪些索引文件?
6.如果我指定了一个offset,Kafka怎么查找到对应的消息?
7.如果我指定了一个timestamp,Kafka怎么查找到对应的消息?
8.聊一聊你对Kafka的Log Retention的理解
9.聊一聊你对Kafka的Log Compaction的理解
10.聊一聊你对Kafka底层存储的理解
11.聊一聊Kafka的延时操作的原理
12聊一聊Kafka控制器的作用
13.Kafka的旧版Scala的消费者客户端的设计有什么缺陷?
14.消费再均衡的原理是什么?(提示:消费者协调器和消费组协调器)
15.Kafka中的幂等是怎么实现的?
2.3 Kakfa高级篇
1.Kafka中的事务是怎么实现的?
2.失效副本是指什么?有哪些应对措施?
3.多副本下,各个副本中的HW和LEO的演变过程
4.Kafka在可靠性方面做了哪些改进?(HW, LeaderEpoch)
5.为什么Kafka不支持读写分离?
6.Kafka中的延迟队列怎么实现
7.Kafka中怎么实现死信队列和重试队列?
8.Kafka中怎么做消息审计?
9.Kafka中怎么做消息轨迹?
10.怎么计算Lag?(注意read_uncommitted和read_committed状态下的不同)
11.Kafka有哪些指标需要着重关注?
12.Kafka的那些设计让它有如此高的性能?
03 撒花结束
其实关于Kafka,能问的问题实在是太多了,扒了几天,最终筛选出44问:基础篇17问、进阶篇15问、高级篇12问,个个直戳痛点,不知道如果你不着急看答案,又能答出几个呢?
不急不急,如果小编收集整理的Kakfa学习思维大纲总结图以及Kakfa面试疯狂轰炸44问+解析正是你所需要的,可以免费分享,点击【“Kakfa”】!!