七秒的鱼

Hadoop

ElasticSearch(1) Flink(6) Flume(2) HBase(4) Hive(2) Idea(1) Java(2) JVM(8) Kafka(4) Scala(1) Spark(5) VMwareWorkstation(1) Zeppelin(2) Zookeeper(3) 未归档(1)

/ 注册

全部文章 / Hadoop （共7篇）

NameNode FSImage类

前言对于HDFS分布式文件系统来说，其Namenode会定期将文件系统的命名空间（文件目录树、文件/目录元信息）保存到fsimage文件中，以防止Namenode掉电或者进程崩溃。但如果Namenode实时地将内存中的元数据同步到fsimage文件中，将会非常消耗资源且造成Namenode运行缓...

2020-04-02

0 1400

HDFS NameNode的工作机制

NameNode 1 第一阶段： namenode 启动 1）第一次启动 namenode 格式化后，创建 fsimage 和 edits 文件。如果不是第一次启动，直接加载编辑日志和镜像文件到内存。2）客户端对元数据进行增删改的请求。3） namenode 记录操作日志，更新滚动日志。4）...

2019-11-21

0 758

HFDS（1.0）与（2.0）

前言当数据集超过一个单独的物理计算机的存储能力时，便有必要将它分部到多个独立的计算机。管理跨计算机网络存储的文件系统成为分布式文件系统。因为它们是基于网络的，所有网络编程的复杂性都会随之而来，所以分布式文件系统比普通磁盘文件系统更复杂。使这个文件系统能容忍节点故障而不损失数据就是一个极大的挑战。 ...

2019-11-13

0 672

Hadoop（MapReduce）

MapReduce 入门 1.1 MapReduce 定义 Mapreduce 是一个分布式运算程序的编程框架，是用户开发“基于 hadoop 的数据分析应用”的核心框架。Mapreduce 核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，并发运行在一个 hadoop...

2019-09-15

0 592

Hadoop（HDFS）

一 HDFS 概述 1.1HDFS 产生背景随着数据量越来越大，在一个操作系统管辖的范围内存不下了，那么就分配到更多的操作系统管理的磁盘中，但是不方便管理和维护，迫切需要一种系统来管理多台机器上的文件，这就是分布式文件管理系统。HDFS只是分布式文件管理系统中的一种。 1.2 HDFS 概念 HD...

2019-09-08

0 779

Hadoop安装

一、单机（伪分布式） 1.1、环境系统环境为Centos作为系统环境，这里不再叙述系统的安***r>基于原生Hadoop 2 ，可以适合任何Hadoop 2.x.y版本，例如 Hadoop 2.7.1, Hadoop 2.4.1等。 Hadoop运行环境搭建虚拟机网络模式设置为NAT 修...

2019-09-04

0 569

Hadoop

一、 Hadoop 1.1、Hadoop的概念 Hadoop是一个由Apache基金会所开发的分布式系统及基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。主要解决海量数据的存储和海量数据的分析计算。广义来说HADOOP通常是指一个更广泛的概念,...

2019-09-03

0 2807