CentOS安装Hadoop步骤详解，新手必看指南？

CentOS如何安装Hadoop

在CentOS系统中安装Hadoop需要多个步骤,包括环境准备、Java安装、Hadoop配置以及集群启动，以下是详细的安装流程，确保操作清晰且易于理解。

环境准备

确保系统已更新到最新状态,并安装必要的工具，执行以下命令：

sudo yum update -y  
sudo yum install -y wget openssh-clients  

创建一个专门用于Hadoop的用户,避免使用root用户操作：

sudo useradd -m hadoop  
sudo passwd hadoop  
sudo usermod -aG wheel hadoop  

配置SSH免密登录,方便后续集群管理：

su - hadoop  
ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa  
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys  
chmod 600 ~/.ssh/authorized_keys  

安装Java

Hadoop依赖Java环境,推荐安装OpenJDK 8，执行以下命令：

sudo yum install -y java-1.8.0-openjdk-devel  

安装完成后,验证Java版本：

java -version  

确保输出显示Java 1.8版本，配置JAVA_HOME环境变量：

echo 'export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk' >> ~/.bashrc  
echo 'export PATH=$PATH:$JAVA_HOME/bin' >> ~/.bashrc  
source ~/.bashrc  

下载并解压Hadoop

从Apache官网下载Hadoop稳定版（如3.3.6），并解压到指定目录：

wget https://archive.apache.org/dist/hadoop/common/hadoop-3.3.6/hadoop-3.3.6.tar.gz  
tar -xzvf hadoop-3.3.6.tar.gz -C /usr/local/  
sudo chown -R hadoop:hadoop /usr/local/hadoop-3.3.6  

创建软链接方便后续操作：

sudo ln -s /usr/local/hadoop-3.3.6 /usr/local/hadoop  

配置Hadoop

Hadoop的配置文件位于/usr/local/hadoop/etc/hadoop目录下，主要修改以下文件：

1. core-site.xml

   <configuration>  
   <property>  
    <name>fs.defaultFS</name>  
    <value>hdfs://localhost:9000</value>  
   </property>  
   </configuration>  

2. hdfs-site.xml

   <configuration>  
   <property>  
    <name>dfs.replication</name>  
    <value>1</value>  
   </property>  
   <property>  
    <name>dfs.namenode.name.dir</name>  
    <value>/usr/local/hadoop/data/namenode</value>  
   </property>  
   <property>  
    <name>dfs.datanode.data.dir</name>  
    <value>/usr/local/hadoop/data/datanode</value>  
   </property>  
   </configuration>  

3. mapred-site.xml

   <configuration>  
   <property>  
    <name>mapreduce.framework.name</name>  
    <value>yarn</value>  
   </property>  
   </configuration>  

4. yarn-site.xml

   

   <configuration>  
   <property>  
    <name>yarn.nodemanager.aux-services</name>  
    <value>mapreduce_shuffle</value>  
   </property>  
   </configuration>  

格式化NameNode并启动集群

执行以下命令格式化HDFS：

hdfs namenode -format  

然后启动Hadoop集群：

start-dfs.sh  
start-yarn.sh  

验证集群状态：

jps  

若看到NameNode、DataNode、ResourceManager等进程，说明安装成功。

FAQs

安装Hadoop时提示“Permission denied”怎么办？
答：检查文件权限，确保Hadoop用户对相关目录有读写权限，可使用chmod -R 755 /usr/local/hadoop修复权限问题。

Hadoop启动后无法访问Web界面？
答：确认防火墙已关闭或开放相关端口（如8088、9870），执行sudo systemctl stop firewalld或添加规则允许端口访问。