CentOS安装Hadoop 2.2时遇到依赖冲突怎么办？

环境准备与依赖安装

在CentOS系统上安装Hadoop 2.2之前，需要确保系统环境满足基本要求，推荐使用CentOS 6.x或7.x版本，并确保系统为最小化安装，避免不必要的软件冲突，配置网络环境，确保服务器可以访问外网或已配置好本地yum源，用于依赖包的下载。

安装必要的开发工具和库文件,包括gcc、gcc-c++、make、autoconf等，通过以下命令安装基础开发环境：

sudo yum groupinstall "Development Tools" -y
sudo yum install openssl-devel wget -y

Hadoop 2.2依赖Java环境，推荐安装JDK 1.7或1.8，通过yum安装OpenJDK：

sudo yum install java-1.8.0-openjdk-devel -y

安装完成后,配置JAVA_HOME环境变量，编辑/etc/profile文件，添加以下内容：

export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk
export PATH=$PATH:$JAVA_HOME/bin

执行source /etc/profile使配置生效，并通过java -version验证安装。

创建Hadoop专用用户与目录

为了安全性和管理便捷性,建议创建一个独立的Hadoop用户，执行以下命令创建用户并设置密码：

sudo useradd hadoop
sudo passwd hadoop

随后,为Hadoop用户配置sudo权限，编辑/etc/sudoers文件，添加：

hadoop ALL=(ALL) NOPASSWD: ALL

创建Hadoop的安装目录和数据存储目录。

sudo mkdir -p /opt/hadoop
sudo mkdir -p /opt/hadoop/data
sudo mkdir -p /opt/hadoop/tmp
sudo chown -R hadoop:hadoop /opt/hadoop

下载并解压Hadoop 2.2

从Apache官网下载Hadoop 2.2的稳定版本（hadoop-2.2.0.tar.gz），使用wget命令：

wget http://archive.apache.org/dist/hadoop/core/hadoop-2.2.0/hadoop-2.2.0.tar.gz

下载完成后,将文件移动至/opt/hadoop目录并解压：

sudo mv hadoop-2.2.0.tar.gz /opt/hadoop/
cd /opt/hadoop
sudo tar -zxf hadoop-2.2.0.tar.gz
sudo ln -s hadoop-2.2.0 hadoop

解压后,进入Hadoop目录，检查配置文件是否存在，确保文件结构完整。

配置Hadoop核心文件

Hadoop的核心配置文件位于/opt/hadoop/hadoop/etc/hadoop/目录下，需要修改以下关键文件：

1. hadoop-env.sh：
   设置JAVA_HOME路径，编辑文件：

   export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk

2. core-site.xml：
   配置Hadoop的默认文件系统地址，添加以下内容：

   <configuration>
     <property>
       <name>fs.defaultFS</name>
       <value>hdfs://localhost:9000</value>
     </property>
     <property>
       <name>hadoop.tmp.dir</name>
       <value>/opt/hadoop/tmp</value>
     </property>
   </configuration>

3. hdfs-site.xml：
   配置HDFS的副本数和数据存储目录：

   <configuration>
     <property>
       <name>dfs.replication</name>
       <value>1</value>
     </property>
     <property>
       <name>dfs.namenode.name.dir</name>
       <value>/opt/hadoop/data/name</value>
     </property>
     <property>
       <name>dfs.datanode.data.dir</name>
       <value>/opt/hadoop/data/data</value>
     </property>
   </configuration>

4. mapred-site.xml：
   配置MapReduce框架为YARN：

   <configuration>
     <property>
       <name>mapreduce.framework.name</name>
       <value>yarn</value>
     </property>
   </configuration>

5. yarn-site.xml：
   配置YARN资源管理器相关参数：

   <configuration>
     <property>
       <name>yarn.nodemanager.aux-services</name>
       <value>mapreduce_shuffle</value>
     </property>
   </configuration>

格式化HDFS并启动集群

在启动Hadoop之前,需要先格式化HDFS文件系统，以Hadoop用户身份执行：

hdfs namenode -format

格式化成功后,启动Hadoop集群，进入/opt/hadoop/hadoop/sbin目录，执行以下命令：

./start-dfs.sh
./start-yarn.sh

启动后,通过jps命令检查进程是否正常：Namenode、Datanode、ResourceManager、NodeManager等进程应全部运行。

验证Hadoop安装

使用HDFS命令测试文件上传和下载：

hdfs dfs -mkdir /test
hdfs dfs -put /etc/hosts /test/
hdfs dfs -ls /test

若文件操作成功,说明Hadoop安装完成，可通过浏览器访问YARN Web界面（http://localhost:8088）查看集群状态。

常见问题与解决方案

1. 问题：启动Hadoop时提示“JAVA_HOME未配置”。
   解答：检查hadoop-env.sh中的JAVA_HOME路径是否正确，确保与系统Java安装路径一致。

2. 问题：HDFS格式化失败，提示权限不足。
   解答：确保Hadoop用户对数据目录有读写权限，可通过chown -R hadoop:hadoop /opt/hadoop/data修复。

通过以上步骤,即可在CentOS系统上成功安装并运行Hadoop 2.2。