Kafka简介

Kafka 起初是由 Linkedin 公司采用 Scala 语言开发的 个多分区、多副本且基于 ZooKeeper协调的分布式消息系统，现己被捐献给 Apache 基金会 目前 Kafka 已经定位为一个分布式流式处理平台，它以高吞吐、可持久化、可水平扩展、支持流数据处理等多种特性而被广泛使用。目前越来越多的开源分布式处理系统如 loudera Storm Spark Flink 等都支持与 Kafka 集成。

Kafka 之所以受到越来越多的青睐，与它所“扮 ”的 大角色是分不开的：

  • 消息系统： kafka 和传统的消息系统（也称作消息中间件〉都具备系统解稿、冗余存储、流量 峰、缓冲、异步通信、扩展性、 可恢复性等功能。与此同时， Kafka还提供了大多数消息系统难以实现的消息顺序性保障及回溯消费的功能。
  • 存储系统： Kafka 把消息持久化到磁盘，相比于其他基于内存存储的系统而言，有效地降低了数据丢失的风险 也正是得益于 Kafka 的消息持久化功能和多副本机制，我们可以把 Kafka 作为长期的数据存储系统来使用，只需要把对应的数据保留策略设置为“永久”或启用主题的日志压缩功能即可。
  • 流式处理平台： Kafka 不仅为每个流行的流式处理框架提供了可靠的数据来源，还提供了一个完整的流式处理类库，比如窗口、连接、变换和聚合等各类操作。

Kafka体系结构

 

深入理解Kafka：核心设计与实践原理

需要《深入理解Kafka：核心设计与实践原理》PDF版的老铁请转发文章关注我，然后私信回复“Kafka”即可获得免费领取方式。

初识Kafka

 

生产者

 

消费者

 

主题与分区

 

 

日志存储

 

深入服务端

 

 

深入客户端

 

可靠性探究

 

 

Kafka应用

 

Kafka监控

 

高级应用

 

 

Kafka与Spark的集成

 

 

 

需要《深入理解Kafka：核心设计与实践原理》PDF版的老铁请转发文章关注我，然后私信回复“Kafka”即可获得免费领取方式。