cdh6.3.2安装
创建yum仓库:
yum install -y httpd yum install -y createrepo mkdir -p /var/www/html/cm6 # 将安装包放在这个目录下 createrepo .
yum仓库地址:
http://192.168.1.8/cm6/
安装mysql8.0:
scriptjc.com/article/906
安装mysql的jdbc驱动:
mkdir -pv /usr/share/java wget http://192.168.199.8/cm6/mysql-connector-java-8.0.18.jar mv mysql-connector-java-8.0.18.jar /usr/share/java/mysql-connector-java.jar
安装java:
rpm -i oracle-j2sdk1.8-1.8.0+update181-1.x86_64.rpm
安装 cloudera-manager-daemons:
rpm -i cloudera-manager-daemons-6.3.1-1466458.el7.x86_64.rpm
安装 cloudera-manager-agent:内网环境下可用--downloadonly选项将依赖包提前下载下来。
yum install cloudera-manager-agent-6.3.1-1466458.el7.x86_64.rpm
安装 cloudera-manager-server:
rpm -i cloudera-manager-server-6.3.1-1466458.el7.x86_64.rpm
复制parcel计算sha:
cd /opt/cloudera/parcel-repo wget http://192.168.199.8/cm6/CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel sha1sum CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel | awk '{ print $1 }' > CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha
创建数据库:
mysql -uroot -p create database cmserver default charset 'utf8';
导入初始化数据:
]# /opt/cloudera/cm/schema/scm_prepare_database.sh mysql cmserver root 1qaz@WSX JAVA_HOME=/usr/java/jdk1.8.0_181-cloudera Verifying that we can write to /etc/cloudera-scm-server Creating SCM configuration file in /etc/cloudera-scm-server Executing: /usr/java/jdk1.8.0_181-cloudera/bin/java -cp /usr/share/java/mysql-connector-java.jar:/usr/share/java/oracle-connector-java.jar:/usr/share/java/postgresql-connector-java.jar:/opt/cloudera/cm/schema/../lib/* com.cloudera.enterprise.dbutil.DbCommandExecutor /etc/cloudera-scm-server/db.properties com.cloudera.cmf.db. Loading class `com.mysql.jdbc.Driver'. This is deprecated. The new driver class is `com.mysql.cj.jdbc.Driver'. The driver is automatically registered via the SPI and manual loading of the driver class is generally unnecessary. [ main] DbCommandExecutor INFO Successfully connected to database. All done, your SCM database is configured correctly!
启动 cloudera-manager-server:
systemctl enable cloudera-scm-server.service --now
等7180端口出来访问浏览器:
http://192.168.1.40:7180 admin admin
跟着引导安装即可。
CDH集群磁盘故障换盘处理:
实质的操作就是在不关闭datanode的情况下更换HDFS磁盘。
警告:要求和限制
1. CDH 5.4和更高版本支持热插拔。
2. 热插拔只能添加具有空数据目录的磁盘。
3. 卸下磁盘不会将数据移出磁盘,这可能会导致数据丢失。
4. 不要同时在多个主机上执行热交换。
使用Cloudera Manager为DataNode执行磁盘热交换:
最低要求角色:群集管理员
1. 配置数据目录以删除要换出的磁盘:
a. 进入HDFS服务。
b. 单击实例选项卡。
c. 在“角色类型”列中,单击受影响的DataNode。
d. 单击配置选项卡。
e. 选择“作用域” >“ DataNode”。
f. 选择类别>主。
g. 更改“DataNode数据目录”属性的值,以删除作为要删除磁盘的安装点的目录。
警告:仅对于计划在其中热交换磁盘的特定DataNode实例,更改此属性的值。不要编辑此属性的角色组值。这样做会导致数据丢失。
2. 单击保存更改以提交更改。
3. 刷新受影响的DataNode。选择操作>刷新数据目录。
4. 取出旧磁盘并添加替换磁盘。
5. 更改DataNode数据目录属性的值,以重新添加目录,这些目录是您添加的磁盘的安装点。
6. 单击保存更改以提交更改。
7. 刷新受影响的DataNode。选择操作>刷新数据目录。
8. 跑过 hdfs fsck / 命令以验证HDFS的运行状况。