hadoop单机 centos

环境准备与基础配置

在开始部署Hadoop单机模式前,首先需要确保CentOS系统满足基本要求，推荐使用CentOS 7或更高版本，确保系统已更新至最新状态，通过执行sudo yum update -y命令更新系统包，避免因版本兼容性问题导致安装失败，关闭防火墙和SELinux，以简化网络配置和权限管理，执行sudo systemctl stop firewalld和sudo setenforce 0命令即可完成关闭操作。

创建一个专门用于Hadoop部署的用户账户,建议命名为hadoop，使用sudo useradd -m hadoop创建用户，并通过sudo passwd hadoop设置密码，切换至该用户账户后，安装必要的开发工具，如sudo yum groupinstall "Development Tools" -y，以及Java开发工具包（JDK），Hadoop依赖Java环境，推荐安装OpenJDK 8或更高版本，可通过sudo yum install java-1.8.0-openjdk-devel -y命令完成安装。

Hadoop安装与解压

下载Hadoop安装包是部署的关键步骤,访问Apache Hadoop官网（https://hadoop.apache.org/releases.html）获取最新稳定版二进制压缩包，例如hadoop-3.3.6.tar.gz，使用wget命令下载，如wget https://archive.apache.org/dist/hadoop/core/hadoop-3.3.6/hadoop-3.3.6.tar.gz，下载完成后，通过tar -xzvf hadoop-3.3.6.tar.gz命令解压至/usr/local目录，并创建软链接sudo ln -s /usr/local/hadoop-3.3.6 /usr/local/hadoop以方便后续操作。

环境变量配置

配置环境变量是确保Hadoop正常运行的核心环节,编辑~/.bashrc文件，添加以下内容：

export HADOOP_HOME=/usr/local/hadoop  
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin  
export JAVA_HOME=$(readlink -f /usr/bin/java | sed "s:/bin/java::")  

保存后执行source ~/.bashrc使配置生效，验证Hadoop安装是否成功，可通过hadoop version命令检查版本信息。

Hadoop单机模式配置

单机模式是Hadoop的最简配置,无需修改核心配置文件即可运行，进入$HADOOP_HOME/etc/hadoop目录，检查core-site.xml、hdfs-site.xml和mapred-site.xml文件，在单机模式下，这些文件可保持默认配置，或仅设置临时目录路径，

<property>  
    <name>hadoop.tmp.dir</name>  
    <value>/tmp/hadoop-${user.name}</value>  
</property>  

无需启动Hadoop集群服务,单机模式默认在本地执行任务。

运行Hadoop单机示例

Hadoop自带多个示例程序,可用于验证单机模式功能，以经典的WordCount为例，首先在用户目录下创建测试文件input.txt包含多行文本，然后使用以下命令运行WordCount程序：

hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar wordcount input.txt output  

执行成功后,结果将保存在output/part-r-00000文件中，通过cat output/part-r-00000命令可查看单词统计结果。

常见问题排查

在部署过程中,可能会遇到权限或路径问题，若提示“Permission denied”，需确保$HADOOP_HOME目录及其子目录对hadoop用户具有读写权限，可通过sudo chown -R hadoop:hadoop /usr/local/hadoop命令修复，若Java路径识别错误，需重新检查JAVA_HOME变量是否正确设置。

相关问答FAQs

问题1：单机模式与伪分布式模式有何区别？
解答：单机模式所有组件运行在同一进程内，无需多节点配置，适合测试和学习；伪分布式模式则在单机上模拟多节点，需要启动NameNode、DataNode等服务，适合开发调试，单机模式无需修改配置文件，而伪分布式模式需调整core-site.xml和hdfs-site.xml等文件。

问题2：如何卸载Hadoop并清理环境？
解答：首先停止所有Hadoop进程（若运行中），删除/usr/local/hadoop目录及其软链接，然后编辑~/.bashrc文件移除Hadoop相关环境变量，最后执行source ~/.bashrc使配置生效，确保系统中无残留Hadoop文件。