概 述

Kafka是最初由Linkedin公司开发，是一个分布式、分区的、多副本的、多订阅者，基于zookeeper协调的分布式日志系统（也可以当做MQ系统），常见可以用于web/nginx日志、访问日志，消息服务等等，Linkedin于2010年贡献给了Apache基金会并成为顶级开源项目。 主要应用场景是：日志收集系统和消息系统。

发布-订阅消息传递模式

在 Kafka 学习的时候，你首先要知道发布订阅的对象是主题（Topic）。向主题发布消息的客户端应用程序称为（Producer），生产者程序通常持续不断地向一个或多个主题发送消息，而订阅这些主题消息的客户端应用程序就被称为（Consumer）。和生产者类似，消费者也能够同时订阅多个主题的消息。我们把生产者和消费者统称为客户端（Clients）。你可以同时运行多个生产者和消费者实例，这些实例会不断地向 Kafka 集群中的多个主题生产和消费消息。

在 Kafka 中，发布订阅的对象是主题（Topic），你可以为每个业务、每个应用甚至是每类数据都创建专属的主题。向主题发布消息的客户端应用程序称为生产者（Producer），生产者程序通常持续不断地向一个或多个主题发送消息，而订阅这些主题消息的客户端应用程序就被称为消费者（Consumer）。和生产者类似，消费者也能够同时订阅多个主题的消息。我们把生产者和消费者统称为客户端（Clients）。你可以同时运行多个生产者和消费者实例，这些实例会不断地向 Kafka 集群中的多个主题生产和消费消息。

在 Kafka 中，发布订阅的对象是主题（Topic），你可以为每个业务、每个应用甚至是每类数据都创建专属的主题。向主题发布消息的客户端应用程序称为生产者（Producer），生产者程序通常持续不断地向一个或多个主题发送消息，而订阅这些主题消息的客户端应用程序就被称为消费者（Consumer）。和生产者类似，消费者也能够同时订阅多个主题的消息。我们把生产者和消费者统称为客户端（Clients）。你可以同时运行多个生产者和消费者实例，这些实例会不断地向 Kafka 集群中的多个主题生产和消费消息。

kafka的优点

1、解耦 2、冗余（持久化） 3、异步通信 4、缓存 。。。。

什么是消费者组

1、定义：即消费者组是 Kafka 提供的可扩展且具有容错性的消费者机制。

2、原理：在 Kafka 中，消费者组是一个由多个消费者实例 构成的组。多个实例共同订阅若干个主题，实现共同消费。同一个组下的每个实例都配置有 相同的组 ID，被分配不同的订阅分区。当某个实例挂掉的时候，其他实例会自动地承担起 它负责消费的分区。

设置 Kafka 能接收的最大消息的大小

  • Broker 端参数:message.max.bytes、max.message.bytes(主题级别)和 replica.fetch.max.bytes。

  • Consumer 端参数:fetch.message.max.bytes。

监控 Kafka 的框架

  • Kafka Manager:应该算是最有名的专属 Kafka 监控框架了，是独立的监控系统。
  • Kafka Monitor:LinkedIn 开源的免费框架，支持对集群进行系统测试，并实时监控测 试结果。
  • CruiseControl:也是 LinkedIn 公司开源的监控框架，用于实时监测资源使用率，以及 提供常用运维操作等。无 UI 界面，只提供 REST API。
  • JMX 监控:由于 Kafka 提供的监控指标都是基于 JMX 的，因此，市面上任何能够集成 JMX 的框架都可以使用，比如 Zabbix 和 Prometheus。
  • 已有大数据平台自己的监控体系:像 Cloudera 提供的 CDH 这类大数据平台，天然就提 供 Kafka 监控方案。
  • JMXTool:社区提供的命令行工具，能够实时监控 JMX 指标。答上这一条，属于绝对 的加分项，因为知道的人很少，而且会给人一种你对 Kafka 工具非常熟悉的感觉。

名词术语

1、消息：Record。Kafka 是消息引擎嘛，这里的消息就是指 Kafka 处理的主要对象。

2、主题：Topic。主题是承载消息的逻辑容器，在实际使用中多用来区分具体的业务。

3、分区：Partition。一个有序不变的消息序列。每个主题下可以有多个分区。

4、消息位移：Offset。表示分区中每条消息的位置信息，是一个单调递增且不变的值。

5、副本：Replica。Kafka 中同一条消息能够被拷贝到多个地方以提供数据冗余，这些地方就是所谓的副本。副本还分为领导者副本和追随者副本，各自有不同的角色划分。副本是在分区层级下的，即每个分区可配置多个副本实现高可用。

6、生产者：Producer。向主题发布新消息的应用程序。

7、消费者：Consumer。从主题订阅新消息的应用程序。消费者位移：Consumer Offset。表征消费者消费进度，每个消费者都有自己的消费者位移。消费者组：Consumer Group。多个消费者实例共同组成的一个组，同时消费多个分区以实现高吞吐。

博客地址

https://blog.csdn.net/weixin_41563161

本文由博客群发一文多发等运营工具平台 OpenWrite 发布