牛客138170954号

分类

Linux(4) mapreduce(1) 未归档(1)

/ 注册

全部文章（共6篇）

linux和Ubuntu如何创建共享文件夹

1.打开虚拟机界面，并启动linux 2.选中上方功能栏中的虚拟机，选中设置 3.点击CD/DVD(SATA)，看到右边有一个使用IOS镜像文件 4.路径填写安装这个虚拟机用的镜像文件路径 5.然后在选项里选择共享文件夹，右边选择总是启用，添加文件夹路径，确定 5.点击虚拟机的里重新安装V...

2020-02-03

0 490

HA（高可用）配置hdfs-site.xml文件

dfs.nameservices mycluster dfs.ha.namenodes.mycluster nn1,nn2 dfs.namenode.rpc-address.mycluster.nn1 s200:8020 dfs.namenode.rpc-address.mycluster.nn2 ...

2020-02-03

0 508

hadoop的安装步骤（本机模式）

安装hadoop 1.安装jdk a)下载jdk-8u65-linux-x64.tar.gz b)tar开 $>su centos ; cd ~ $>mkdir downloads $>cp /mnt/hdfs/downloads/bigdata/jdk-8u65...

2020-02-03

0 372

CENTOS7/Ubuntu怎样添加域名解析服务器dns或nameserver？（永久生效的方法）

一般大家给CENTOS服务器添加dns都是通过修改resolv.conf来添加的，重启网卡后就会丢失。这里和大家分享重启不会失效的dns修改方法：一般传统方法的代码如下： . echo nameserver 8.8.8.8 > /etc/resolv.conf 很明显，这个并不符合大家的要求...

2020-02-03

0 490

Hadoop全排序原理和代码

hadoop全排序实现方法 1.设置一个 reduce 2.自定义分区函数 3.hadoop采样器设置随机采样，切片采样抽取样本数据，计算区间值，把区间值写入分区文件，分区文件就是序列文件，此序列文件只有key，没有value，value为null 第一部分（设置一个reduce）准备ma...

2020-02-03

0 419

二次排序原理

二次排序原理二次排序二次排序原理自定义key，组合key 二次排序 Key是可以排序的。需要对value排序。 1.自定义key package com.it18zhang.hdfs.maxtemp.allsort.secondarysort; im...

2020-02-03

0 423