第一步：安装jdk
这里我选择的是jdk1.8
去官网下载压缩包。下载链接如下：
https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html
我选择的是Linux 64位的 （系统是什么版本，多少位的就选择对应的），把接受的许可的勾选上
下载Hadoop安装包
http://mirrors.hust.edu.cn/apache/hadoop/common/hadoop-2.9.2/hadoop-2.9.2.tar.gz
下载到本地，解压文件
二 。新建一个Hadoop（可选可不选）
参考这篇文章：http://www.cnblogs.com/87hbteo/p/7606012.html
sudo mkdir /usr/lib/jvm #创建jvm文件夹
sudo tar zxvf jdk-8u191-linux-x64.tar.gz -C /usr/lib #/ 解压到/usr/lib/jvm目录下
cd /usr/lib/jvm #进入该目录
mv jdk1.7.0_80 java #重命名为java
sudo tar -zxvf hadoop-2.9.2.tar.gz -C /usr/local #解压到/usr/local目录下
cd /usr/local
sudo mv hadoop-2.6.0 hadoop #重命名为hadoop
sudo chown -R hadoop ./hadoop #修改文件权限
vi ~/.bashrc #给JDK配置环境变量
注：jdk那里是你自己下载jdk的包名，可能会不一样
参考文章：https://blog.csdn.net/kh896424665/article/details/78765175
Ubuntu16.04 下 hadoop的安装与配置（伪分布式环境）
注：本文有参考 这篇文章 ，但因其中有部分错误，所以在实际操作中遇到了很大的困扰，于是写成了这篇文章供大家使用
一、准备
1.1创建hadoop用户
$ sudo useradd -m hadoop -s /bin/bash #创建hadoop用户，并使用/bin/bash作为shell
$ sudo passwd hadoop #为hadoop用户设置密码，之后需要连续输入两次密码
$ sudo adduser hadoop sudo #为hadoop用户增加管理员权限
$ su - hadoop #切换当前用户为用户hadoop
$ sudo apt-get update #更新hadoop用户的apt,方便后面的安装
1.2安装SSH,设置SSH无密码登陆
$ sudo apt-get install openssh-server #安装SSH server
$ ssh localhost #登陆SSH，第一次登陆输入yes
$ exit #退出登录的ssh localhost
$ cd ~/.ssh/ #如果没法进入该目录，执行一次ssh localhost
$ ssh-keygen -t rsa 输入完 $ ssh-keygen -t rsa 语句以后，需要连续敲击三次回车，如下图：
其中，第一次回车是让KEY存于默认位置，以方便后续的命令输入。第二次和第三次是确定passphrase，相关性不大。两次回车输入完毕以后，如果出现类似于下图所示的输出，即成功：
之后再输入：
$ cat ./id_rsa.pub >> ./authorized_keys #加入授权
$ ssh localhost #此时已不需密码即可登录localhost，并可见下图。如果失败则可以搜索SSH免密码登录来寻求答案 
二、安装jdk1.7
首先在oracle官网下载jdk1.7 http://www.oracle.com/technetwork/java/javase/downloads/index.html 接下来进行安装与环境变量配置，根据个人电脑系统选择对应版本，我选的是jdk-7u80-linux-x64.tar.gz
$ mkdir /usr/lib/jvm #创建jvm文件夹
$ sudo tar zxvf jdk-7u80-linux-x64.tar.gz -C /usr/lib #/ 解压到/usr/lib/jvm目录下
$ cd /usr/lib/jvm #进入该目录
$ mv jdk1.7.0_80 java #重命名为java
$ vi ~/.bashrc #给JDK配置环境变量 注：其中如果权限不够，无法在相关目录下创建jvm文件夹，那么可以使用 $ sudo -i 语句进入root账户来创建文件夹。
另外推荐使用vim来编辑环境变量，即最后一句使用指令
$ vim ~/.bashrc 如果没有vim,可以使用：
$sudo apt-get install vim 来进行下载。
在.bashrc文件添加如下指令：
export JAVA_HOME=/usr/lib/jvm/java
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH
在文件修改完毕以后，输入代码：
$ source ~/.bashrc #使新配置的环境变量生效
$ java -version #检测是否安装成功，查看java版本 如果出现如下图所示的内容，即为安装成功
注：如果各位不想一个一个的敲击，可以复制黏贴，但因为vim不支持系统粘贴板，所以需要先下载相关插件vim-gnome
sudo apt-get install vim-gnome 然后复制相关代码，光标移到指定位置，使用指令 "+p，即可复制，注意 " 也是需要敲击的内容，即一共有 " 、+、p 三个操作符需要敲入
三、安装hadoop-2.6.0
先下载hadoop-2.6.0.tar.gz，链接如下:
http://mirrors.hust.edu.cn/apache/hadoop/common/
下面进行安装：
$ sudo tar -zxvf hadoop-2.6.0.tar.gz -C /usr/local #解压到/usr/local目录下
$ cd /usr/local
$ sudo mv hadoop-2.6.0 hadoop #重命名为hadoop
$ sudo chown -R hadoop ./hadoop #修改文件权限 给hadoop配置环境变量，将下面代码添加到.bashrc文件:
export HADOOP_HOME=/usr/local/hadoop
export CLASSPATH=$($HADOOP_HOME/bin/hadoop classpath):$CLASSPATH
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
同样，执行source ~./bashrc使设置生效，并查看hadoop是否安装成功
四、伪分布式配置
Hadoop 可以在单节点上以伪分布式的方式运行，Hadoop 进程以分离的 Java 进程来运行，节点既作为 NameNode 也作为 DataNode，同时，读取的是 HDFS 中的文件。Hadoop 的配置文件位于 /usr/local/hadoop/etc/hadoop/ 中，伪分布式需要修改2个配置文件 core-site.xml 和 hdfs-site.xml 。Hadoop的配置文件是 xml 格式，每个配置以声明 property 的 name 和 value 的方式来实现。首先将jdk1.7的路径添（export JAVA_HOME=/usr/lib/jvm/java ）加到hadoop-env.sh文件
接下来修改core-site.xml文件：
<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>file:/usr/local/hadoop/tmp</value>
<description>Abase for other temporary directories.</description>
</property>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
接下来修改配置文件 hdfs-site.xml
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/usr/local/hadoop/tmp/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/usr/local/hadoop/tmp/dfs/data</value>
</property>
</configuration> 
Hadoop 的运行方式是由配置文件决定的（运行 Hadoop 时会读取配置文件），因此如果需要从伪分布式模式切换回非分布式模式，需要删除 core-site.xml 中的配置项。此外，伪分布式虽然只需要配置 fs.defaultFS 和 dfs.replication 就可以运行（可参考官方教程），不过若没有配置 hadoop.tmp.dir 参数，则默认使用的临时目录为 /tmp/hadoo-hadoop，而这个目录在重启时有可能被系统清理掉，导致必须重新执行 format 才行。所以我们进行了设置，同时也指定 dfs.namenode.name.dir 和 dfs.datanode.data.dir，否则在接下来的步骤中可能会出错。
配置完成后，执行 NameNode 的格式化
$ ./bin/hdfs namenode -format 启动namenode和datanode进程，并查看启动结果
$ ./sbin/start-dfs.sh
$ jps 启动完成后，可以通过命令 jps 来判断是否成功启动，若成功启动则会列出如下进程: “NameNode”、”DataNode” 和 “SecondaryNameNode”
此时也有可能出现要求输入localhost密码的情况 ，如果此时明明输入的是正确的密码却仍无法登入，其原因是由于如果不输入用户名的时候默认的是root用户，但是安全期间ssh服务默认没有开root用户的ssh权限
输入代码：
$vim /etc/ssh/sshd_config 检查PermitRootLogin 后面是否为yes，如果不是，则将该行代码 中PermitRootLogin 后面的内容删除，改为yes，保存。之后输入下列代码重启SSH服务：
$ /etc/init.d/sshd restart 即可正常登入（免密码登录参考第一章）
成功启动后，可以访问 Web 界面 http://localhost:50070 查看 NameNode 和 Datanode 信息，还可以在线查看 HDFS 中的文件。
至此，hadoop的安装就已经完成啦！enjoy it！
第二篇文章：
介绍：Hadoop是Apache开源组织的一个分布式计算框架，可以在大量廉价的硬件设备组成的集群上运行应用程序，为应用程序提供了一组稳定可靠的接口，旨在构建一个具有高可靠性和良好扩展性的分布式系统。 HDFS（分布式文件系统）为海量的数据提供了存储，则MapReduce为海量的数据提供了计算。通过这次云计算课程，我希望通过自己亲手搭建Hadoop并操作一些实例来体会一下云计算的魅力。
安装环境：我的笔记本的系统环境是Ubuntu16.04+windows10的双系统，hadoop作为由java语言开发的，在linux上可以完美运行，故准备在我的Ubuntu上实战搭建。
准备：Ubuntu16.04/64位
hadoop-2.7.4.tar.gz
Java jdk1.8.0_144
目的：搭建Hadoop单机模式和伪分布模式
1、安装和配置JAVA环境
a) 下载并解压JDK
·下载地址：（选择linux版本,你们下的版本号有可能和我不一样，后面配置时注意路径名，文件夹名）
http://www.oracle.com/technetwork/java/javase/downloads/jdk9-downloads-3848520.html
·新建/usr/java目录，切换到所下载的jdk-8u144-linux-x64.tar.gz目录。将文件解压到/usr/java目录下
命令解压：tar -zxvf jdk-8u144-linux-x64.tar.gz -C /usr/java/
注：不懂命令解压可以在图形化界面鼠标点击解压，和windows一样。此时jdk已经安装好。
b) 设置环境变量
·修改.bashsc(即终端的源文件)，使用vim编辑或者文本gedit编辑
没安装vim需要先安装vim
sudo vim ~/.bashrc
·在最后一行加入下列内容：（JAVA_HOME是jdk路径和文件版本，注意写对）
export JAVA_HOME=/usr/java/jdk1.8.0_144
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$JAVA_HOME/bin:$PATH
·如下命令使环境变量生效：
source ~/.bashrc
·打开profile文件，插入java环境配置节。
sudo vim /etc/profile
插入如下内容：
export JAVA_HOME=/usr/java/jdk1.8.0_144
export JAVA_BIN=$JAVA_HOME/bin
export JAVA_LIB=$JAVA_HOME/lib
export CLASSPATH=.:$JAVA_LIB/tools.jar:$JAVA_LIB/dt.jar
export PATH=$JAVA_HOME/bin:$PATH
·打开environment 文件，追加jdk目录和jdk下的lib的目录，如下所示。
sudo vim /etc/environment
·追加：（还是注意jdk文件名）
PATH="/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/usr/games:/usr/local/games:/usr/java/jdk1.8.0_144/lib:/usr/java/jdk1.8.0_144"
注意两个路径名，jdk的名字！！！
·使配置生效：
source /etc/environment
·验证java环境是否配置成功
java -version
注意：以上追加的目录一定要看清楚路径名和你的jdk文件名（版本号），都则会配置不成功。
如果没出来版本号，那么重启一下终端，再试一次。
2、安装ssh-server并实现免密码登录
a) 下载ssh-server
sudo apt-get install openssh-server
b) 启动ssh
sudo /etc/init.d/ssh start
c) 查看ssh服务是否启动，如果显示相关ssh字样则表示成功。
ps -ef|grep ssh
d) 设置免密码登录
使用如下命令，一直回车，直到生成了rsa。
ssh-keygen -t rsa
·导入authorized_keys
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
·测试是否免密码登录localhost
ssh localhost
·关闭防火墙
ufw disable
3、安装Hadoop单击模式和伪分布模式
a)下载hadoop-2.7.4.tar.gz，解压到/usr/local（单机模式搭建）
下载地址：http://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-2.7.4/hadoop-2.7.4.tar.gz
sudo tar zxvf hadoop-2.7.4.tar.gz -C /usr/local
·切换到/usr/local下，将hadoop-2.7.4重命名为hadoop，并给/usr/local/hadoop设置访问权限。（-R为递归的给目录权限，必须）
cd /usr/local
sudo mv hadoop-2.7.4 hadoop
sudo chmod 777 -R /usr/local/Hadoop
b)配置.bashsc文件
sudo vim ~/.bashrc
·在文件末尾追加下面内容，然后保存。（注意路径）
#HADOOP VARIABLES START
export JAVA_HOME=/usr/java/jdk1.8.0_144
export HADOOP_INSTALL=/usr/local/hadoop
export PATH=$PATH:$HADOOP_INSTALL/bin
export PATH=$PATH:$HADOOP_INSTALL/sbin
export HADOOP_MAPRED_HOME=$HADOOP_INSTALL
export HADOOP_COMMON_HOME=$HADOOP_INSTALL
export HADOOP_HDFS_HOME=$HADOOP_INSTALL
export YARN_HOME=$HADOOP_INSTALL
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_INSTALL/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_INSTALL/lib"
#HADOOP VARIABLES END
·执行下面命令，使添加的环境变量生效：
source ~/.bashrc
c)Hadoop配置（伪分布式搭建）
·配置hadoop-env.sh
sudo vim /usr/local/hadoop/etc/hadoop/hadoop-env.sh
·添加如下内容：(注意jdk文件名)
# The java implementation to use.
export JAVA_HOME=/usr/java/jdk1.8.0_144
export HADOOP=/usr/local/hadoop
export PATH=$PATH:/usr/local/hadoop/bin
·配置yarn-env.sh
sudo vim /usr/local/hadoop/etc/hadoop/yarn-env.sh
·添加如下内容：
# export JAVA_HOME=/usr/java/jdk1.8.0_144
JAVA_HOME=/usr/java/jdk1.8.0_144
·配置core-site.xml，（这里的tmp.dir不用改，是缓存目录）
sudo vim /usr/local/hadoop/etc/hadoop/core-site.xml
插入如下内容
注意：将core-site.xml中原来的有的<configuration> < /configuration >一定要删除掉，不然后面格式化的时候会出错。即.xml文件中只有一个<configuration> < /configuration >对就可以。
<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>file:/usr/local/hadoop/tmp</value>
<description>Abase for other temporary directories.</description>
</property>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
·同样修改配置文件 hdfs-site.xml：
sudo vim /usr/local/hadoop/etc/hadoop/hdfs-site.xml
插入下列内容：（删除原有的<configuration>）
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/usr/local/hadoop/tmp/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/usr/local/hadoop/tmp/dfs/data</value>
</property>
</configuration>
Hadoop配置文件说明
Hadoop 的运行方式是由配置文件决定的（运行 Hadoop 时会读取配置文件），因此如果需要从伪分布式模式切换回非分布式模式，需要删除 core-site.xml 中的配置项。
此外，伪分布式虽然只需要配置 fs.defaultFS 和 dfs.replication 就可以运行，不过若没有配置 hadoop.tmp.dir 参数，则默认使用的临时目录为 /tmp/hadoo-hadoop，而这个目录在重启时有可能被系统清理掉，导致必须重新执行 format 才行。
同时也指定 dfs.namenode.name.dir 和 dfs.datanode.data.dir，否则在接下来的步骤中可能会出错。
·配置yarn-site.xml
sudo vim /usr/local/hadoop/etc/hadoop/yarn-site.xml
·插入下列内容
<configuration>
<!-- Site specific YARN configuration properties -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
<property>
<name>yarn.resourcemanager.address</name>
<value>127.0.0.1:8032</value>
</property>
<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>127.0.0.1:8030</value>
</property>
<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>127.0.0.1:8031</value>
</property>
</configuration>
d) 关机重启系统
注意：以上三个文件都必须删除原来的<configuration>对，在复制进去，否则会在后面格式化时发生如下错误 ！！！！！
4、验证hadoop是否安装并配置成功
a) 验证Hadoop单击模式已经配完成
hadoop version
b) 启动HDFS为分布式模式
格式化namenode
hdfs namenode -format
有successfully formatted代表格式化成功。Existing with 1代表有错误。
·启动hdfs（如出现权限错误检查3 a）步骤是否递归给hadoop文件夹权限）
start-all.sh
·显示进程
jps
有6个进程代表正确
`
·在浏览器中输入http://localhost:50070/，出现如下页面
·输入 http://localhost:8088/， 出现如下页面
至此Hadoop已经完全搭建成功。
5、Hadop实例：词频统计
a) 启动HDFS
start-all.sh
b) 产看HDFS下面包含的文件目录
hadoop dfs -ls /
第一次运行hdfs什么都没有
c) 在HDFS中创建一个文件目录input，将/usr/local/hadoop/README.txt上传至input中，此时再用ls查看就发现多了个input目录
hdfs dfs -mkdir /input
hadoop fs -put /usr/local/hadoop/README.txt /input
d) 执行一下命令运行wordcount 并将结果输出到output中。
hadoop jar /usr/local/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.4.jar wordcount /input /output
·统计成功：
·执行成功后output 目录底下会生成两个文件 _SUCCESS 成功标志的文件，里面没有内容。 一个是 part-r-00000 ，通过以下命令查看执行的结果，如下图
hadoop fs -cat /output/part-r-00000
·下面是统计的词频结果：
·下面附一些HDFS常用命令：
hadoop fs -mkdir /tmp/input 在HDFS上新建文件夹
hadoop fs -put input1.txt /tmp/input 把本地文件input1.txt传到HDFS的/tmp/input目录下
hadoop fs -get input1.txt /tmp/input/input1.txt 把HDFS文件拉到本地
hadoop fs -ls /tmp/output 列出HDFS的某目录
hadoop fs -cat /tmp/ouput/output1.txt 查看HDFS上的文件
hadoop fs -rmr /home/less/hadoop/tmp/output 删除HDFS上的目录
hadoop dfsadmin -report 查看HDFS状态，比如有哪些datanode，每个datanode的情况
hadoop dfsadmin -safemode leave 离开安全模式
hadoop dfsadmin -safemode enter 进入安全模式
原文：https://blog.csdn.net/kh896424665/article/details/78765175
京公网安备 11010502036488号