在CentOS 7系统上安装CDH(Cloudera Distribution Including Apache Hadoop)是一个涉及多步骤的过程,需要仔细配置环境和依赖项,以下是详细的安装指南,帮助您顺利完成部署。

系统环境准备
在开始安装前,确保系统满足CDH的最低要求,CentOS 7需要64位系统,推荐至少8GB内存(建议16GB以上),硬盘空间根据集群规模而定,通常每个节点至少需要50GB可用空间,关闭防火墙和SELinux,以避免网络连接问题,执行以下命令:
sudo systemctl stop firewalld sudo systemctl disable firewalld sudo setenforce 0 sudo sed -i 's/SELINUX=enforcing/SELINUX=permissive/g' /etc/selinux/config
配置主机名和hosts文件
为集群中的每个节点设置唯一的主机名,并在所有节点的/etc/hosts文件中添加主机名与IP的映射关系。
sudo hostnamectl set-hostname master-node echo "192.168.1.100 master-node" | sudo tee -a /etc/hosts echo "192.168.1.101 slave-node1" | sudo tee -a /etc/hosts
确保所有节点之间可以通过主机名互相通信。
安装JDK
CDH依赖Java Development Kit(JDK),推荐使用Oracle JDK或OpenJDK,以OpenJDK为例:
sudo yum install java-1.8.0-openjdk-devel -y java -version # 验证安装
配置环境变量,编辑/etc/profile文件,添加以下内容:
export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk export PATH=$PATH:$JAVA_HOME/bin
执行source /etc/profile使配置生效。

添加CDH仓库
使用Cloudera Manager的Parcel方式安装CDH,需要添加Cloudera的仓库,首先下载并安装Cloudera Manager的repo文件:
sudo yum localinstall cloudera-manager.repo -y sudo yum update -y
安装Cloudera Manager Server
在主节点上安装Cloudera Manager Server:
sudo yum install cloudera-manager-server -y
安装完成后,初始化数据库(默认使用PostgreSQL):
sudo /opt/cloudera/cm/schema/scm_prepare_database.sh mysql scm scm password
根据提示输入数据库连接信息,完成后启动Cloudera Manager Server:
sudo systemctl start cloudera-scm-server sudo systemctl enable cloudera-scm-server
部署CDH集群
- 访问Cloudera Manager:浏览器访问
http://<master-node-ip>:7180,默认用户名为admin,密码为admin。 - 创建集群:登录后,选择“Create Cluster”,按照向导添加主机节点。
- 选择Parcel:在“Parcels”页面下载并激活CDH的Parcel文件,等待所有节点加载完成。
- 安装服务:选择需要安装的服务(如HDFS、YARN、Hive等),分配角色到对应节点。
- 配置集群:根据业务需求调整服务参数,如内存分配、副本数等。
- 启动集群:确认配置无误后,启动所有服务。
验证安装
通过Cloudera Manager的“Status”页面检查服务运行状态,或使用命令行验证HDFS:
hdfs dfsadmin -report hdfs dfs -mkdir /test hdfs dfs -ls /
若命令执行成功,说明安装完成。

常见问题处理
安装过程中可能遇到权限不足、端口冲突或依赖缺失等问题,可通过检查日志文件(/var/log/cloudera-scm-server/)排查错误,或使用sudo -u cloudera-scm调整权限。
FAQs
Q1: 安装过程中提示“Could not connect to the database”怎么办?
A1: 检查数据库服务是否启动,用户名和密码是否正确,确保数据库端口(默认5432)未被防火墙拦截,可尝试重新运行scm_prepare_database.sh脚本。
Q2: HDFS启动失败,显示“NameNode format failed”如何解决?
A2: 通常是因为NameNode目录权限问题或磁盘空间不足,检查/var/lib/hadoop-hdfs/hdfs/namenode目录权限,确保hdfs用户有读写权限,并清理磁盘空间后重新格式化NameNode。
【版权声明】:本站所有内容均来自网络,若无意侵犯到您的权利,请及时与我们联系将尽快删除相关内容!
发表回复