（一）实验环境

  1. CentOS-7-x86_64-Everything-1708.iso
  2. jdk-8u161-linux-x64.rpm
  3. cloudera-manager-centos7-cm5.12.1_x86_64.tar.gz
  4. CDH-5.12.1-1.cdh5.12.1.p0.3-el7.parcel
  5. CDH-5.12.1-1.cdh5.12.1.p0.3-el7.parcel.sha1
  6. manifest.json

 

  1. 准备三台CentOS虚拟机：一个Cloudera Manager节点、两个Agent节点
  2. 安装如下：
    1. CDH71：Server GUI、Development Tools、MariaDB
    2. CDH72：Server GUI、Development Tools
    3. CDH73：Server GUI、Development Tools

（二）安装配置CentOS

注意把下面的两个选项选上

  • Development Tools
  • MariaDB Server（就是MySQL数据库）：注意只在cdh71上安装

  • 关闭防火墙

systemctl status firewalld.service
systemctl stop firewalld.service
systemctl disable firewalld.service

  • 配置主机名：编辑/etc/hosts文件

192.168.163.71 cdh71
192.168.163.72 cdh72
192.168.163.73 cdh73

  • 配置免密码登录

ssh-keygen -t rsa
ssh-copy-id -i .ssh/id_rsa.pub root@cdh72

  • 配置ntp服务
  • 创建目录：mkdir /root/cdroom/
  • 挂载光盘：mount /dev/cdrom /root/cdroom/
  • 删除原来的所有repo文件 rm -rf  /etc/yum.repos.d/*.repo
  • 创建yum的源文件： vi /etc/yum.repos.d/my.repo 
[centos-yum]
baseurl=file:///root/cdroom 
enabled=1
gpgcheck=0    
  • 开启NTP服务

yum install ntp
systemctl is-enabled ntpd
systemctl enable ntpd
systemctl start ntpd

（三）安装JDK

一定注意，这一步跟之前不一样！！！

  1. 卸载系统原有的Java环境

     第一步：使用下面的命令查看当前所有的Java环境的安装包

 rpm -qa | grep java

     第二步：使用下面的命令删除所有的Java安装包

 rpm -e --nodeps 包名

 

  1. 安装新的JDK环境
  • 将jdk-8u161-linux-x64.rpm上传到/opt目录
  • 安装JDK：rpm -ivh jdk-8u161-linux-x64.rpm  
  • 执行下面的命令，设置环境变量：

     echo "JAVA_HOME=/usr/java/latest/" >> /etc/environment

 

  1. 验证JDK环境

（四）配置MariaDB（在cdh71上）

  • 启动MariaDB

systemctl start mariadb
systemctl enable mariadb （开机自启动）

  • 配置MariaDB 
mysql_secure_installation

#首先是设置密码，会提示先输入密码
Enter current password for root (enter for none):<–初次运行直接回车

#设置密码
Set root password? [Y/n] <–是否设置root用户密码，输入y并回车或直接回车
New password: <– 设置root用户的密码
Re-enter new password: <– 再输入一次你设置的密码

#其他配置
Remove anonymous users? [Y/n] <– 是否删除匿名用户，回车
Disallow root login remotely? [Y/n] <–是否禁止root远程登录,回车,
Remove test database and access to it? [Y/n] <– 是否删除test数据库，回车
Reload privilege tables now? [Y/n] <– 是否重新加载权限表，回车

 

  • 初始化MariaDB

登录数据库：mysql -uroot -pWelcome_1

create database hive;
create database amon;  ---> 这个是CDH的activity monitor
create database oozie;
create database hue;
  • 安装数据库驱动

yum install mysql-connector-java

 

(五）安装配置Clouder Manager（在cdh71上）

  • 将 cloudera-manager-centos7-cm5.12.1_x86_64.tar.gz 上传至/opt目录，并解压

tar -zxvf cloudera-manager-centos7-cm5.12.1_x86_64.tar.gz

  • 将mysql的驱动放到 /opt/cm-5.12.1/share/cmf/lib/ 中

cp /usr/share/java/mysql-connector-java.jar /opt/cm-5.12.1/share/cmf/lib/

  • 初始化Cloudera Manager的数据库元信息

/opt/cm-5.12.1/share/cmf/schema/scm_prepare_database.sh mysql cm -hlocalhost -uroot -pWelcome_1 --scm-host localhost scm scm scm

 

  • 创建cloudera-scm用户

useradd  --system  --home=/opt/cm-5.12.1/run/cloudera-scm-server/ --no-create-home --shell=/bin/false --comment  "Cloudera SCM User" cloudera-scm

  • 将以下文件上传至/opt/cloudera/parcel-repo/目录

CDH-5.12.1-1.cdh5.12.1.p0.3-el7.parcel
CDH-5.12.1-1.cdh5.12.1.p0.3-el7.parcel.sha1
manifest.json

  • 重命名文件CDH-5.12.1-1.cdh5.12.1.p0.3-el7.parcel.sha1  , 改名为：CDH-5.12.1-1.cdh5.12.1.p0.3-el7.parcel.sha        （注意：少了一个1） 
  • 修改/opt/cm-5.12.1/etc/cloudera-scm-agent/config.ini中的server_host为主节点的主机名。

server_host=cdh71

（六）配置Cloudera  Agent（cdh72和cdh73）

  • 从主节点cdh71上将Cloudera Manager Agent复制到agent节点（cdh72和cdh73）上

scp -r /opt/cm-5.12.1 root@cdh72:/opt/
scp -r /opt/cm-5.12.1 root@cdh73:/opt/

  • 在agent节点（cdh72和cdh73）上创建cloudera-scm用户

useradd --system --home=/opt/cm-5.12.1/run/cloudera-scm-server/ --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm

 

（七）部署CDH5

  • 在cdh71启动服务Cloudera Manager Server

/opt/cm-5.12.1/etc/init.d/cloudera-scm-server start

  • 在cdh72和cdh73上启动的agent

/opt/cm-5.12.1/etc/init.d/cloudera-scm-agent start

  • 访问cdh71上的Cloudera Manager：

端口：7180（http://192.168.247.71:7180/cmf/login）

 

用户名密码：admin/admin

 

  •  接受用户条款

  •  选择60天试用版

  •  点击“继续”

  •  为CDH群集安装指定主机（选择cdh72和cdh73）

  • 选择存储库

（注意：要删除默认的远程库。如果之前没有做这一步，会有错误。需要重新安装）

  • 将存储库部署到主机

  • 检查主机正确性

在cdh72和cdh73上，执行下面的语句，并“重新运行”

echo 10 > /proc/sys/vm/swappiness
echo never > /sys/kernel/mm/transparent_hugepage/defrag
echo never > /sys/kernel/mm/transparent_hugepage/enabled

 

  • 选择您要在群集上安装的 CDH 5 服务。（以HDFS为例）

步骤省略......

注意：需要在cdh71上创建report数据库，如下：

create database report;
create user 'reportmanager'@'%' identified by 'Welcome_1';
grant all on report.* TO 'reportmanager'@'%';
grant all on report.* TO 'reportmanager'@'localhost' identified by 'Welcome_1';

 

  •  部署成功

 

Cloudera Manager首页

  • 检查每台机器上的Java后台进程