JackieWang

Hadoop

集群部署(1)

/ 注册

全部文章 / Hadoop （共8篇）

MapReduce经典案例WordCount

代码部分 public class WordCountApp { public static class wcMapper extends Mapper<Lon...

WordCount Hadoop MapReduce

2020-08-01

0 562

HDFS其他功能

集群间数据拷贝 1）scp工具可实现两个远程主机之间的文件复制，但不支持软链接的复制 scp -r hello.txt bduser@node103:/user/bduser/hello.txt &nbs...

Hadoop HDFS

2020-07-25

0 528

HDFS中DataNode工作原理

DataNode工作机制 1）一个数据块在datanode上以文件形式存储在磁盘上，包括两个文件，一个是数据本身，一个是元数据包括数据块的长度，块数据的校验和，以及时间戳。 2）DataNode启动后向namenode注册，通过后，周期性（1小时）的向namen...

DataNode Hadoop HDFS

2020-07-25

0 1190

HDFS中NameNode与Secondary NameNode工作原理

NameNode&Secondary NameNode工作机制 1）第一阶段：namenode启动（1）第一次启动namenode格式化后，创建fsimage和edits文件。如果不是第一次启动，直接加载编辑日志和镜像文件到内存。（2）客户端对元...

NameNode SecondaryNameNode HDFS Hadoop

2020-07-25

0 1014

HDFS读写数据原理

HDFS写数据流程剖析文件写入 1）客户端向namenode请求上传文件，namenode检查目标文件是否已存在，父目录是否存在。 2）namenode返回是否可以上传。 3）客户端请求第一个 block上传到哪几个datanode服务器上。 4）na...

HDFS读写原理 HDFS

2020-07-24

1 825

HDFS简介

认识HDFS HDFS的产生背景随着数据量越来越大，在一个操作系统管辖的范围内存不下了，那么就分配到更多的操作系统管理的磁盘中，但是不方便管理和维护，迫切需要一种系统来管理多台机器上的文件，这就是分布式文件管理系统。 HDFS 只是分布式文件管理系统中的一种。 ...

Hadoop HDFS

2020-07-24

0 785

HDFS中的基本指令

HDFS中的操作指令 1）基本语法 bin/hadoop fs 操作指令 bin/hdfs dfs 操作指令 2）参数大全 hadoop fs &n...

Hadoop HDFS

2020-07-24

0 586

Hadoop简介

认识Hadoop Hadoop是什么 1）Hadoop是一个由Apache基金会所开发的分布式系统基础架构 2）主要解决，海量数据的存储和海量数据的分析计算问题。 3）广义上来说，HADOOP通常是指一个更广泛的概念——HADOOP生态圈 Hadoop...

Hadoop

2020-07-24

2 1190