流918

未归档

Elasticsearch(1) hadoop(1) Hadoop权威指南(2) hbase(1) IDEA的使用(1) java基础知识(5) linux一些问题(2) scala(1) spark(4) storm(2) zookeeper(3) 剑指offer(3) 算法(24) 网络通信(3) 设计模式(2)

/ 注册

全部文章 / 未归档（共81篇）

azkaban启动时报错

报错 6.0/conf:/home/hadoop/hadoop-2.6.0/*:/conf:/lib/* [root@itcast01 bin]# Invalid maximum heap size: -Xmx4G The specified size exceeds the maximum re...

2018-11-29

0 795

flume启动失败原因

输入： flume-ng agent -c /root/apps/apache-flume-1.6.0-bin/conf -f ./avro-hdfs.conf -n al -Dflume.root.logger=INFO,console 控制台打印 Info: Including Hive...

2018-11-29

0 1233

Hive的常见级联求和运算思想解析

1.需求：有如下访客访问次数统计表 t_access_times 访客月份访问次数 A 2015-01-02 5 A 2015-01-03 15 B 2015-01-01 5 A 2015-01-04 8 B 2015-01-05 25 A 2015-01-06 5 A 2015-02-02...

2018-11-29

0 488

win10上调试hadoop

首先找到对应的版本，比如我使用的时hadoop2.7.3，就可以直接用2.7.1版本的配置文件：https://github.com/LUK-qianliu/winutils-master 目录下的hadoop.dll和winutils.exe复制到hadoop2.7.3/bin下： ...

2018-11-20

0 515

hdfs基础知识整理

（1）HDFS为什么会块那么大？其目的是减少寻址的开销（2）HDFS的块抽象带来的好处 1.文件中所有的块并不需要存储在同一个磁盘中，因此他可以利用任意一个磁盘进行存储，一个大文件就可以拆分成很多个小文件存放在不同的磁盘中。 2.大大简化了存储子系统的设计，很容易就可以计算...

2018-11-12

0 657

hadoop-mapreduce中缺少无参构造方法而导致自定义的javaBean反射无效

问题：一个FlowCount作为流量统计的程序，Flow数据需要放到一个FlowBean中，结果因为报错原因分析：FlowBean因为没有写一个空的构造方法导致反射时发现FlowBean中无空参构造而反射失败（下面的有参构造会导致覆盖系统默认的空参构造）

2018-11-12

0 333

配置文件hdsf-site.xml的优先级问题

在hadoop中对某一个参数的配置可以在3个地方完成！（1）配置文件hdfs-site.xml中的hadoop集群 (2)jar包中的默认配置文件（3）java文件中configuraton可以设置参数优先级：java程序中的Configuration.set() > hadf...

2018-11-06

0 426

win中连接hdfs失败问题

（1）win中连接hdfs会出现如下问题：（2）hdfs下载 https://github.com/LUK-qianliu/solving-for-windows-hdfs 放入到E:\hadoopConfig\hadoop-common-2.2.0-bin-master目录下。（3）程序...

2018-11-04

0 475

关于hdfs多次启动Datanode无效

发现Datanode一直无法启动查看/root/apps/hadoop-2.7.3/logs/下的日志文件：查看资料发新：多次使用下面的命令： cd /root/apps/hadoop-2.7.3 ./bin/hadoop namenode -format 导致了clu...

2018-11-04

0 427

第二名称节点（Secondary NAmeNode）的“检查点”作用

HDFS中的名称节点（NameNode）名称节点：负责管理分布式文件系统的命名空间，里面包含了两个核心的数据结构，即FsImage和EditLog。FsImage用户文件树以及所有的文件和文件夹的元数据。EfitLog记录的是文件的增删改查。首次安装format格式化就是在本地生成F...

2018-10-31

0 995