创建yum仓库:

yum install -y httpd
yum install -y createrepo
mkdir -p /var/www/html/cm6 # 将安装包放在这个目录下
createrepo .

yum仓库地址:

http://192.168.1.8/cm6/

安装mysql8.0:

scriptjc.com/article/906

安装mysql的jdbc驱动:

mkdir -pv /usr/share/java
wget http://192.168.199.8/cm6/mysql-connector-java-8.0.18.jar 
mv mysql-connector-java-8.0.18.jar /usr/share/java/mysql-connector-java.jar

安装java:

rpm -i oracle-j2sdk1.8-1.8.0+update181-1.x86_64.rpm

安装 cloudera-manager-daemons:

rpm -i cloudera-manager-daemons-6.3.1-1466458.el7.x86_64.rpm

安装 cloudera-manager-agent:内网环境下可用--downloadonly选项将依赖包提前下载下来。

yum install cloudera-manager-agent-6.3.1-1466458.el7.x86_64.rpm

安装 cloudera-manager-server:

rpm -i cloudera-manager-server-6.3.1-1466458.el7.x86_64.rpm

复制parcel计算sha:

cd /opt/cloudera/parcel-repo
wget http://192.168.199.8/cm6/CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel
sha1sum CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel | awk '{ print $1 }' > CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha

创建数据库:

mysql -uroot -p
create database cmserver default charset 'utf8';

导入初始化数据:

]# /opt/cloudera/cm/schema/scm_prepare_database.sh mysql cmserver root 1qaz@WSX
JAVA_HOME=/usr/java/jdk1.8.0_181-cloudera
Verifying that we can write to /etc/cloudera-scm-server
Creating SCM configuration file in /etc/cloudera-scm-server
Executing:  /usr/java/jdk1.8.0_181-cloudera/bin/java -cp /usr/share/java/mysql-connector-java.jar:/usr/share/java/oracle-connector-java.jar:/usr/share/java/postgresql-connector-java.jar:/opt/cloudera/cm/schema/../lib/* com.cloudera.enterprise.dbutil.DbCommandExecutor /etc/cloudera-scm-server/db.properties com.cloudera.cmf.db.
Loading class `com.mysql.jdbc.Driver'. This is deprecated. The new driver class is `com.mysql.cj.jdbc.Driver'. The driver is automatically registered via the SPI and manual loading of the driver class is generally unnecessary.
[                          main] DbCommandExecutor              INFO  Successfully connected to database.
All done, your SCM database is configured correctly!

启动 cloudera-manager-server:

systemctl enable cloudera-scm-server.service --now

等7180端口出来访问浏览器:

http://192.168.1.40:7180
admin
admin

跟着引导安装即可。


CDH集群磁盘故障换盘处理:

实质的操作就是在不关闭datanode的情况下更换HDFS磁盘。

警告:要求和限制

 1. CDH 5.4和更高版本支持热插拔。

 2. 热插拔只能添加具有空数据目录的磁盘。

 3. 卸下磁盘不会将数据移出磁盘,这可能会导致数据丢失。

 4. 不要同时在多个主机上执行热交换。


使用Cloudera Manager为DataNode执行磁盘热交换:

最低要求角色:群集管理员

 1. 配置数据目录以删除要换出的磁盘:

  a. 进入HDFS服务。

  b. 单击实例选项卡。

  c. 在“角色类型”列中,单击受影响的DataNode。

  d. 单击配置选项卡。

  e. 选择“作用域” >“ DataNode”。

  f. 选择类别>主。

  g. 更改“DataNode数据目录”属性的值,以删除作为要删除磁盘的安装点的目录。

  警告:仅对于计划在其中热交换磁盘的特定DataNode实例,更改此属性的值。不要编辑此属性的角色组值。这样做会导致数据丢失。

 2. 单击保存更改以提交更改。

 3. 刷新受影响的DataNode。选择操作>刷新数据目录。

 4. 取出旧磁盘并添加替换磁盘。

 5. 更改DataNode数据目录属性的值,以重新添加目录,这些目录是您添加的磁盘的安装点。

 6. 单击保存更改以提交更改。

 7. 刷新受影响的DataNode。选择操作>刷新数据目录。

 8. 跑过 hdfs fsck / 命令以验证HDFS的运行状况。