七秒的鱼

Kafka

ElasticSearch(1) Flink(6) Flume(2) Hadoop(7) HBase(4) Hive(2) Idea(1) Java(2) JVM(8) Scala(1) Spark(5) VMwareWorkstation(1) Zeppelin(2) Zookeeper(3) 未归档(1)

/ 注册

全部文章 / Kafka （共4篇）

Kafka实现高吞吐之零拷贝

前言 Kafka是一个非常优秀的消息开源系统，作为分布式的消息队列之所以能够实现高吞吐，其中的一个原因就是sendFile 的零拷贝关于零拷贝 "零拷贝"中的"拷贝"是操作系统在I/O操作中,将数据从一个内存区域复制到另外一个内存区域. 而"零&q...

2019-12-09

1 1717

Kafka 生产者

分区策略分区的原因（1）方便在集群中扩展，每个Partition可以通过调整以适应它所在的机器，而一个 topic又可以有多个 Partition 组成，因此整个集群就可以适应任意大小的数据了；（2）可以提高并发，因为可以以 Partition 为单位读写了。2）分区的原则我们需要将 produ...

2019-11-27

0 597

Kafka工作流程分析

3.1 Kafka生产过程分析 3.1.1 写入方式 producer采用推（push）模式将消息发布到broker，每条消息都被追加（append）到分区（patition）中，属于顺序写磁盘（顺序写磁盘效率比随机写内存要高，保障kafka吞吐率）。 3.1.2 分区（Partition） K...

2019-09-26

0 539

Kafka

1.1 Kafka是什么在流式计算中，Kafka一般用来缓存数据，Storm通过消费Kafka的数据进行计算。1）Apache Kafka是一个开源消息系统，由Scala写成。是由Apache软件基金会开发的一个开源消息系统项目。2）Kafka最初是由LinkedIn公司开发，并于 2011...

2019-09-20

0 1014