流918

分类

Elasticsearch(1) hadoop(1) Hadoop权威指南(2) hbase(1) IDEA的使用(1) java基础知识(5) linux一些问题(2) scala(1) spark(4) storm(2) zookeeper(3) 剑指offer(3) 未归档(81) 算法(24) 网络通信(3) 设计模式(2)

/ 注册

全部文章（共136篇）

BlockingQueue源码解析

本篇将详细介绍BlockingQueue，以下是涉及的主要内容： BlockingQueue的核心方法阻塞队列的成员的概要介绍详细介绍DelayQueue、ArrayBlockingQueue、LinkedBlockingQueue的原理线程池与BlockingQueue ...

多线程

2018-11-16

0 497

mapreduce之combiner函数

一个例子说明combiner的作用：hadoop允许用户针对map任务输出指定一个combiner，combiner函数的输出作为reduce的输入（1）假设第一个map的输出如下：（1950，0）//1950表示年份，0表示地方A的最高温度（1950，20）（1950，10）（2）假...

mapreducer

2018-11-15

0 557

hdfs基础知识整理

（1）HDFS为什么会块那么大？其目的是减少寻址的开销（2）HDFS的块抽象带来的好处 1.文件中所有的块并不需要存储在同一个磁盘中，因此他可以利用任意一个磁盘进行存储，一个大文件就可以拆分成很多个小文件存放在不同的磁盘中。 2.大大简化了存储子系统的设计，很容易就可以计算...

2018-11-12

0 657

hadoop-mapreduce中缺少无参构造方法而导致自定义的javaBean反射无效

问题：一个FlowCount作为流量统计的程序，Flow数据需要放到一个FlowBean中，结果因为报错原因分析：FlowBean因为没有写一个空的构造方法导致反射时发现FlowBean中无空参构造而反射失败（下面的有参构造会导致覆盖系统默认的空参构造）

2018-11-12

0 333

从java迭代器与集合之间的关系延申到hadoop中的应用

(1)Iterator模式是用于遍历集合类的标准访问方法。它可以把访问逻辑从不同类型的集合类中抽象出来，从而避免向客户端暴露集合的内部结构。例如，如果没有使用Iterator，遍历一个数组的方法是使用索引： for(int i=0; i<array.size(); i++) { ... ...

迭代器

2018-11-09

0 484

配置文件hdsf-site.xml的优先级问题

在hadoop中对某一个参数的配置可以在3个地方完成！（1）配置文件hdfs-site.xml中的hadoop集群 (2)jar包中的默认配置文件（3）java文件中configuraton可以设置参数优先级：java程序中的Configuration.set() > hadf...

2018-11-06

0 426

win中连接hdfs失败问题

（1）win中连接hdfs会出现如下问题：（2）hdfs下载 https://github.com/LUK-qianliu/solving-for-windows-hdfs 放入到E:\hadoopConfig\hadoop-common-2.2.0-bin-master目录下。（3）程序...

2018-11-04

0 474

关于hdfs多次启动Datanode无效

发现Datanode一直无法启动查看/root/apps/hadoop-2.7.3/logs/下的日志文件：查看资料发新：多次使用下面的命令： cd /root/apps/hadoop-2.7.3 ./bin/hadoop namenode -format 导致了clu...

2018-11-04

0 427

第二名称节点（Secondary NAmeNode）的“检查点”作用

HDFS中的名称节点（NameNode）名称节点：负责管理分布式文件系统的命名空间，里面包含了两个核心的数据结构，即FsImage和EditLog。FsImage用户文件树以及所有的文件和文件夹的元数据。EfitLog记录的是文件的增删改查。首次安装format格式化就是在本地生成F...

2018-10-31

0 995

spring配置的顺序决定了类被初始化的顺序

spring的配置顺序是one，compoent-scan（three类被配置了@component标签，会被他扫描到并自动配置进来），two。类Three的配置@Component，所以在spring配置了Component-scan扫描器以后就可以自动被配置进来。注意：Three有两个构...

2018-10-23

0 430