新手如何在CentOS上一步步完成CDH单机安装部署？

在CentOS系统上部署单机版Cloudera Distribution Including Apache Hadoop（CDH）是学习和测试Hadoop生态系统的理想方式，这种部署模式将所有服务（如HDFS、YARN、ZooKeeper等）集中在一台服务器上，极大地简化了配置和管理复杂度，非常适合开发人员、数据分析师以及希望快速搭建实验环境的用户，本文将详细介绍在CentOS 7或8系统上进行CDH单机安装的完整流程，涵盖环境准备、Cloudera Manager安装、集群配置及验证等关键步骤。

环境准备

在开始安装之前，确保服务器满足基本的软硬件要求，并完成必要的系统配置,这是保证安装顺利成功的基础。

系统与硬件要求

一个稳定可靠的运行环境至关重要,以下是推荐的最低配置：

组件类别	最低要求	推荐配置
操作系统	CentOS 7.x / 8.x (64位)	CentOS 7.9
CPU	4核	8核或更多
内存	8 GB	16 GB或更多
磁盘空间	50 GB可用空间	100 GB或更多，建议使用SSD
网络	稳定的网络连接	确保能访问Cloudera仓库

系统配置

1. 配置主机名和hosts解析：为服务器设置一个静态的主机名，并确保/etc/hosts文件中包含本机IP与主机名的映射记录，避免DNS解析问题。

   sudo hostnamectl set-hostname cdh-single-node
   echo "127.0.0.1   cdh-single-node" | sudo tee -a /etc/hosts

2. 关闭防火墙和SELinux：为了简化集群内部通信，避免端口访问问题，建议在测试环境中临时关闭防火墙和SELinux。

   sudo systemctl stop firewalld
   sudo systemctl disable firewalld
   sudo setenforce 0
   sudo sed -i 's/SELINUX=enforcing/SELINUX=disabled/g' /etc/selinux/config

3. 配置SSH免密登录：Cloudera Manager需要通过SSH管理各个节点，即使是单机版，也需要配置本机到本机的SSH免密登录。

   ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
   cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
   chmod 600 ~/.ssh/authorized_keys
   # 测试是否成功
   ssh cdh-single-node

4. 安装JDK：CDH依赖Java环境，Cloudera Manager自带OpenJDK，但也可以手动安装Oracle JDK或OpenJDK 1.8，确保JAVA_HOME环境变量已正确配置。

   sudo yum install -y java-1.8.0-openjdk java-1.8.0-openjdk-devel
   echo 'export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk' | sudo tee -a /etc/profile
   source /etc/profile

安装Cloudera Manager

Cloudera Manager（CM）是CDH的核心管理平台，通过图形化界面简化了集群的部署、监控和管理。

1. 配置Cloudera Manager仓库：创建一个Yum仓库文件，指向Cloudera的官方仓库。

   sudo wget https://archive.cloudera.com/cm6/6.3.1/redhat7/yum/cloudera-manager.repo -P /etc/yum.repos.d/

2. 安装CM Server和Agent：使用yum命令安装Cloudera Manager的主服务器（Server）和代理（Agent）软件包。

   sudo yum install -y cloudera-manager-daemons cloudera-manager-server cloudera-manager-agent

3. 初始化CM Server数据库：对于单机环境，可以使用CM内置的PostgreSQL数据库，执行初始化脚本。

   sudo /opt/cloudera/cm/schema/scm_prepare_database.sh postgresql scm scm scm

   此命令会创建一个名为scm的数据库，用户名和密码均为scm。

4. 启动CM Server服务：

   sudo systemctl start cloudera-scm-server

   首次启动需要一些时间来初始化数据库和启动Web服务，可以通过sudo tail -f /var/log/cloudera-scm-server/cloudera-scm-server.log查看启动日志，当看到“Started ServerConnector@…”字样时,表示服务已成功启动。

通过Web向导安装CDH集群

1. 访问CM管理界面：在浏览器中访问 http://<你的服务器IP>:7180，默认用户名和密码均为admin。
2. 接受许可协议：登录后,阅读并接受Cloudera的许可条款。
3. 选择集群版本：选择“Cloudera Express”（免费版）即可满足大部分学习和测试需求。
4. 指定主机：在“指定主机”页面，输入当前服务器的主机名或IP地址，然后点击“搜索”。
5. 选择Parcel仓库：系统会自动检测到可用的Parcel分发版本，选择与你CM版本匹配的CDH版本，例如CDH 6.3.x，点击“继续”，系统将自动下载、分发和解压Parcel包，这个过程耗时较长,取决于网络速度。
6. 主机检查：CM会对主机进行一系列检查，确保环境符合要求，如果前期准备工作充分,此处通常不会出现错误。
7. 选择服务：在“选择服务”页面，勾选需要安装的核心服务，如HDFS、YARN和ZooKeeper，对于单机版,这些基础服务已经足够。
8. 配置服务：进入服务配置界面，对于单机测试环境，大部分配置保持默认即可，但需要注意数据目录的设置,确保有足够的磁盘空间。
9. 启动服务：配置完成后，CM将开始启动所有选定的服务，耐心等待所有服务状态变为绿色（良好）。
10. 安装完成：你会看到一个安装摘要页面，显示集群的基本信息和访问入口，至此,CDH单机集群安装完毕。

验证安装

安装完成后,可以通过以下方式验证集群是否正常工作：

• 在Cloudera Manager主页，检查所有服务的健康状态是否为“良好”。
• 通过HDFS UI或使用命令行hdfs dfs -ls /查看文件系统是否可访问。
• 提交一个简单的MapReduce作业（如Pi计算示例）来验证YARN的功能。

相关问答FAQs

Q1: 安装过程中，主机检查失败，提示“无法访问主机上的Cloudera Manager Agent”或“NTP时钟同步”问题，该如何解决？
A1: 这个问题通常由以下几个原因导致：

• 防火墙未关闭：请确保firewalld服务已停止并禁用，或者开放了CM Agent所需的端口（默认为9000）。
• Agent服务未运行：在目标主机上执行sudo systemctl status cloudera-scm-agent检查服务状态，如果未运行，则使用sudo systemctl start cloudera-scm-agent启动它。
• 主机名解析错误：确认/etc/hosts文件中的IP和主机名映射正确无误，且从CM Server能ping通Agent主机的主机名。
• 时间不同步：安装并启动NTP服务以确保所有节点时间一致，执行sudo yum install -y ntp和sudo systemctl start ntpd。

Q2: 单机版CDH运行缓慢，尤其是在运行任务时，有什么优化建议吗？
A2: 单机版性能瓶颈通常源于资源争用,可以尝试以下优化措施：

• 调整内存分配：在Cloudera Manager中，进入HDFS和YARN的配置页面，适当增加NameNode、DataNode、ResourceManager和NodeManager等服务的Java堆大小，但不要超过物理内存的70%。
• 使用独立磁盘：如果条件允许，将HDFS的数据存储目录配置在一块独立的、高性能的硬盘（最好是SSD）上，与操作系统盘分离，可以显著提升I/O性能。
• 禁用非必要服务：如果仅用于特定功能测试，可以停止并禁用不需要的服务（如Hue、Sqoop、Oozie等）,以释放CPU和内存资源。