七秒的鱼

分类

ElasticSearch(1) Flink(6) Flume(2) Hadoop(7) HBase(4) Hive(2) Idea(1) Java(2) JVM(8) Kafka(4) Scala(1) Spark(5) VMwareWorkstation(1) Zeppelin(2) Zookeeper(3) 未归档(1)

/ 注册

全部文章（共50篇）

Kafka实现高吞吐之零拷贝

前言 Kafka是一个非常优秀的消息开源系统，作为分布式的消息队列之所以能够实现高吞吐，其中的一个原因就是sendFile 的零拷贝关于零拷贝 "零拷贝"中的"拷贝"是操作系统在I/O操作中,将数据从一个内存区域复制到另外一个内存区域. 而"零&q...

2019-12-09

1 1717

虚拟机类加载机制

前言虚拟机把描述类的数据从Class文件加载到内存，并对数据进行校验、转换解析和初始化，最终形成可以被虚拟机直接使用的Java类型，这就是虚拟机的类加载机制。类加载时机类从被加载到虚拟机内存中开始，到卸载出内存为止，它的整个生命周期：加载、验证、准备、解析、初始化、使用、和卸载7个阶段。其中验...

2019-12-02

0 519

Kafka 生产者

分区策略分区的原因（1）方便在集群中扩展，每个Partition可以通过调整以适应它所在的机器，而一个 topic又可以有多个 Partition 组成，因此整个集群就可以适应任意大小的数据了；（2）可以提高并发，因为可以以 Partition 为单位读写了。2）分区的原则我们需要将 produ...

2019-11-27

0 597

HBase读写底层实现

前言 HBase是一个分布式的、面向列的开源数据库，该技术来源于 Fay Chang 所撰写的Google论文“Bigtable：一个结构化数据的分布式存储系统”。就像Bigtable利用了Google文件系统（File System）所提供的分布式数据存储一样，HBase在Hadoop之上提供了类...

2019-11-24

0 846

VMwareWorkstation pro无法在Windows上运行的问题

前言由于Windows系统更新问题，导致电脑上的VMwareWorkstation pro无法使用，之前有卸过Windows组件，但是系统自动更新之后又不能打开，所有只能乖乖地将我的VMwareWorkstation更新到15版本。首先根据系统的提示将最新的版本下载至我们的电脑中由于我的电...

2019-11-23

0 727

HDFS NameNode的工作机制

NameNode 1 第一阶段： namenode 启动 1）第一次启动 namenode 格式化后，创建 fsimage 和 edits 文件。如果不是第一次启动，直接加载编辑日志和镜像文件到内存。2）客户端对元数据进行增删改的请求。3） namenode 记录操作日志，更新滚动日志。4）...

2019-11-21

0 758

Zookeeper

前言 ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，是Google的Chubby一个开源的实现，是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致***的软件，提供的功能包括：配置维护、域名服务、分布式同步、组服务等。Zookeeper从设计模式角度来理解：是一...

2019-11-17

0 617

HFDS（1.0）与（2.0）

前言当数据集超过一个单独的物理计算机的存储能力时，便有必要将它分部到多个独立的计算机。管理跨计算机网络存储的文件系统成为分布式文件系统。因为它们是基于网络的，所有网络编程的复杂性都会随之而来，所以分布式文件系统比普通磁盘文件系统更复杂。使这个文件系统能容忍节点故障而不损失数据就是一个极大的挑战。 ...

2019-11-13

0 672

VisualVM:多合一故障处理工具

前言 VisualVM (All-in-One Java Troubleshooting Tool)是到目前为止随JDK发布的功能最强大的运行监视和故障处理程序，并且可以预见在未来一段时间内都是官方助力发展的虚拟机故障处理工具。官方在VisualVM的软件说明中写上了“All in One”的描述字...

2019-11-10

0 1037

JConsole：Java监视与管理控制台

前言 JConsole（Java Monitoring and Management Console）是一种基于JMX的可视化监视、管理工具。1.启动JConsole通过JDK/bin目录下的“jconsole.exe”启动JConsole后，将自动搜索出本机运行的所有虚拟机进程，不需要用户自己再使...

2019-11-09

0 676