不知道为什么我的vim突然不能用了,我先装一下vim(切换到root用户下安装)
 yum -y install vim*
 
 出现complete表示完成安装!
接下来配置hadoop环境,每一个步骤都很关键,不能错了!!!
 (1)关闭selinux vim /etc/selinux/config
 SELINUX=disabled
 
 (2)切换到hadoop用户,配置免密登陆。
 cd 进入hadoop用户的目录
 ssh-keygen -t rsa [输入完后连按4个回车]
 
 ssh 主机名 [yes,输入hadoop用户的密码]
 ssh-copy-id 主机名 [输入hadoop用户的密码]
 
 3.解压软件包到/opt/module(这里需要xftp工具将这三个压缩包上传到hadoop的家目录下)
 cd
 tar -zxvf ./jdk-8u202-linux-x64.tar.gz -C /opt/module/
 tar -zxvf ./hadoop-2.10.0.tar.gz -C /opt/module/
 tar -zxvf ./apache-hive-3.1.1-bin.tar.gz -C /opt/module/
4.编辑环境变量(先进入家目录,隐藏文件以.开头):
 vim ~/.bash_profile
 在文件末尾添加
 
 5.重新加载该文件,使环境变量生效
 source ~/.bash_profile
如何使用以下两个命令检查java和hadoop的版本
 java -version
 hadoop version
 
 6.修改hadoop的配置文件
 cd /opt/module/hadoop-2.10.0/etc/hadoop
 (1)vim ./hadoop-env.sh
 export JAVA_HOME=/opt/module/jdk1.8.0_202
 
 (2)vim ./mapred-env.sh
 export JAVA_HOME=/opt/module/jdk1.8.0_202
 
 (3)vim ./yarn-env.sh
 export JAVA_HOME=/opt/module/jdk1.8.0_202
 
 (4)vim ./core-site.xml
 
 (5)vim ./hdfs-site.xml
 
 (6)先复制一份,再编辑
 cp ./mapred-site.xml.template ./mapred-site.xml
 vim ./mapred-site.xml
 
 (7).vim ./yarn-site.xml
 
 (8)vim ./slaves
 将里面的localhost修改为你的主机名
7.格式化hadoop集群
 在XX主机名这台机器上执行:hdfs namenode -format
8.启动/关闭hadoop集群
 执行:start-all.sh
 执行:stop-all.sh
 
 使用jps来检查
 
 出现这6个就表示安装成功了。(我哭,昨晚搞了一个晚上都没有搞成功)
 9.验证集群
 192.168.5.XXX:50070 # 访问Hadoop默认的地址
 
 192.168.5.XXXX:8088 # 访问apache
 9.Hive的安装
 hive --version
 在hdfs上创建hive数据存放目录
 hadoop fs -mkdir /tmp
 hadoop fs -mkdir -p /user/hive/warehouse
 hadoop fs -chmod g+w /tmp
 hadoop fs -chmod g+w /user/hive/warehouse
 
 在hive的软件目录下执行初始化命令 (需要进入hive目录 cd /opt/module/apache-hive-3.1.1-bin)
 bin/schematool -dbType derby -initSchema
 
 初始化成功后就会在hive的安装目录下生成derby.log日志文件和metastore_db元数据库
 使用ls查看下
 
 10.进入hive检查是否是真的成功了。(在前面那步的基础上选择bin/hive)
 
 出现这个就表示成功了。
 太感动了,一边配置,一边把步骤记下来,还是这种方法有效,昨晚搞了一晚上都没有成功,头发都要掉光了。。。
一个小白,安装步骤是网上资源,自己安装后再总结的,如有侵权,请联系我删除,谢谢!

 京公网安备 11010502036488号
京公网安备 11010502036488号