流918

Hadoop权威指南

Elasticsearch(1) hadoop(1) hbase(1) IDEA的使用(1) java基础知识(5) linux一些问题(2) scala(1) spark(4) storm(2) zookeeper(3) 剑指offer(3) 未归档(81) 算法(24) 网络通信(3) 设计模式(2)

/ 注册

全部文章 / Hadoop权威指南（共2篇）

YARN基础知识

（1）YARN作为分布式计算（1）YARN（集群计算层）运行在存储层上（如：HDFS和HBase）（2）应用层（如：mapreduce，spark等）都运行在Compute层（YARN）上（2）YARN的应用运行机制里面的容器可以是一个unix进程，也可以是一个Linux cgro...

YARN

2018-11-16

0 626

mapreduce之combiner函数

一个例子说明combiner的作用：hadoop允许用户针对map任务输出指定一个combiner，combiner函数的输出作为reduce的输入（1）假设第一个map的输出如下：（1950，0）//1950表示年份，0表示地方A的最高温度（1950，20）（1950，10）（2）假...

mapreducer

2018-11-15

0 557