Aimmon

Hadoop

Ambari(1) CDH(1) Docker(1) Hbase(1) HDP(2) HUE(1) Java 不可不知(2) Java_环境变量(5) Java并发编程(1) JVM(10) Kafka(1) Linux(10) Mac_Vmware(3) Maven(2) MySQL(2) Presto(1) Python(77) Scala(5) Spark(12) Sqoop(1) Storm(4) Superset(3) TensorFlow(3) VM(2) Zabbix(1) zookeeper(4) 工作记录(16) 数据结构和算法(5) 未归档(1) 机器学习(1) 益智&DIY(5)

/ 注册

全部文章 / Hadoop （共5篇）

Hadoop分布式DataNode节点启动失败

2018-06-15 23:01:55,872 INFO org.apache.hadoop.hdfs.server.common.Storage: Using 1 threads to upgrade data directories (dfs.datanode.parallel.volumes....

2022-05-17

0 0

VM 启动提示模块"Disk"启动失败

在VM虚拟机中,从一台服务器向另一台服务器执行scp 命令时,因为空间不足,传输文件未遂.故关闭虚拟机,执行设置里面磁盘清理,提示此异常解决方案: 1.打开.vmx后缀文件,修改vmci0.present ="FALSE" 2.删除.lck 后缀文件 3.重新打开虚...

2022-05-17

0 0

Hadoop HA This node has namespaceId '*' and clusterId ''

由于先前搭建了Hadoop的联盟环境,搭建HA环境是只是注释了配置文件中有关Federation 的配置,结果在HA环境时,kill 掉主节点的namenode ,从节点的namenode 也一并被kill掉了,先看namenode 的报错日志信息: 2018-08-02 07:08:00,260...

2022-05-17

0 0

SecondaryNameNode 合并元信息的过程

NameNode 管理元数据信息，元数据信息会定期的刷到磁盘中，其中的两个文件是edits(操作日志文件) 和fsimage(元数据镜像文件)，新的操作日志不会立即和fsimage 进行合并，也不会刷到NameNode 的内存中，会先写到edits 中。当edits 文件的大小达到临界值（默认64M...

2022-05-17

0 0

5节点Hadoop-2.6.0-cdh5.14.2 HA集群搭建

目录一、集群规划二、五节点Hadoop HA搭建 1. 虚拟机环境准备 2. 安装ZooKeeper集群 3. 五节点Hadoop HA搭建 3.1 解压hadoop压缩包 3.2 修改hadoop-env.sh 3.3 修改core-site.xml 3.4 修改hdfs-s...

2022-05-17

0 0