七秒的鱼

分类

ElasticSearch(1) Flink(6) Flume(2) Hadoop(7) HBase(4) Hive(2) Idea(1) Java(2) JVM(8) Kafka(4) Scala(1) Spark(5) VMwareWorkstation(1) Zeppelin(2) Zookeeper(3) 未归档(1)

/ 注册

全部文章（共50篇）

Scala

Scala 是 Scalable Language 的简写，是一门多范式的编程语言联邦理工学院洛桑（EPFL）的Martin Odersky于2001年基于Funnel的工作开始设计Scala。Funnel是把函数式编程思想和Petri网相结合的一种编程语言。Odersky先前的工作是Generic...

2020-04-27

0 734

WAL

前言 region服务器会将数据保存到内存中，直到积攒足够多的数据再将其刷写到硬盘上，这样可以避免创建很多小文件。存储在内存中的数据是不稳定的，例如，在服务器断电的情况下数据就可能会丢失。这是一个典型的问题。 WAL 我们知道存储在内存中的数据是不稳定的，一旦我们的机器断电就会导致我们内存中的...

2020-04-15

1 882

HBase 常用shell命令

前言介绍一下HBase 常用的shell命令一、基本命令打开HBase shell： bin/hbase shell 获取帮助 help 查看服务器的状态 status 查看版本信息 version 二、关于表的操作查看所有表 list ...

2020-04-12

0 740

Zookeeper分布式集群部署

前言 ZooKeeper是一个开放源代码的分布式协调服务，由知名互联网公司雅虎创建，是Google Chubby的开源实现。ZooKeeper的设计目标是将那些复杂且容易出错的分布式一致***封装起来，构成一个高效可靠的原语集，并以一系列简单易用的接口提供给用户使用。 ZooKeeper是一...

2020-04-07

0 654

Flume监控之Ganglia

前言 Ganglia是UC Berkeley发起的一个开源集群监视项目，设计用于测量数以千计的节点。Ganglia的核心包含gmond、gmetad以及一个Web前端。主要是用来监控系统性能，如：cpu 、mem、硬盘利用率， I/O负载、网络流量情况等，通过曲线很容易见到每个节点的工作状态，对合...

2020-04-06

0 1026

NameNode FSImage类

前言对于HDFS分布式文件系统来说，其Namenode会定期将文件系统的命名空间（文件目录树、文件/目录元信息）保存到fsimage文件中，以防止Namenode掉电或者进程崩溃。但如果Namenode实时地将内存中的元数据同步到fsimage文件中，将会非常消耗资源且造成Namenode运行缓...

2020-04-02

0 1400

Java线程死锁

Java线程死锁死锁是一种特定的程序状态，在实体之间，由于循环依赖导致彼此一直处于等待之中，没有任何个体可以继续前进。死锁不仅仅是在线程之间会发生，存在资源独占的进程之间同样也可能出现死锁。通常来说，我们大多是聚焦在多线程场景中的死锁，指两个或多个线程之间，由于互相持有对方需要的锁，而永久...

2020-03-28

0 666

Zookeeper Watcher机制原理

Watcher机制原理我们知道ZooKeeper提供了分布式数据的发布/订阅功能，一个典型的发布/订阅模型系统定义了一种一对多的订阅关系，能够让多个订阅者同时监听某一个主题对象，当这个主题对象自身状态变化时，会通知所有订阅者，使它们能够做出相应的处理。在ZooKeeper中，引入了Watcher机...

2020-03-25

1 2566

Zeppelin安装

前言 Apache Zeppelin 是一个可以进行大数据可视化分析的交互式开发系统，可以承担数据接入、数据发现、数据分析、数据可视化、数据协作等任务，其前端提供丰富的可视化图形库，不限于SparkSQL，后端支持HBase、Flink 等大数据系统以插件扩展的方式，并支持Spark、Python、...

2019-12-21

0 1006

Java集合之ConcurrentHashMap

前言 CocurrentHashMap是线程安全且高效的HashMap，在并发编程中使用HashMap可能导致程序死循环。而使用线程安全的HashTable效率又非常低下，基于以上两个原因，便有了ConcurrentHashMap的登场。 jdk1.7 ConcurrentHashMap的结构通过...

2019-12-16

1 830