CentOS HDFS配置常见问题解析_配置步骤与故障排查指南

在CentOS上配置HDFS时，常见问题及解决方法如下：

1. 环境变量配置问题

问题：JAVA_HOME未正确设置，导致Hadoop启动失败。
解决方法：
- 确认Java安装路径：which java 或 readlink -f $(which java)。
- 编辑 /etc/profile 或 ~/.bashrc，添加：
```
export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk  # 根据实际路径修改
export PATH=$PATH:$JAVA_HOME/bin
```
- 执行 source ~/.bashrc 使配置生效。

2. Hadoop配置文件错误

关键配置文件：
- etc/hadoop/core-site.xml：NameNode地址。
- etc/hadoop/hdfs-site.xml：副本数、数据目录等。
- etc/hadoop/hadoop-env.sh：环境变量。

常见错误：

NameNode地址配置错误：

<!-- core-site.xml -->
<property>
  <name>fs.defaultFS</name>
  <value>hdfs://your-namenode-host:9000</value>
</property>

确保 your-namenode-host 能被解析（如配置 /etc/hosts 或DNS）。

数据目录权限不足：

chmod -R 755 /path/to/hadoop/data/dir
chown -R hadoop:hadoop /path/to/hadoop/data/dir  # 根据实际用户组修改

3. 防火墙/SELinux 阻止通信

问题：节点间无法通信，端口被拦截。

解决方法：

关闭防火墙（测试环境）：

systemctl stop firewalld
systemctl disable firewalld

或放行Hadoop端口：

firewall-cmd --permanent --add-port=9000/tcp    # NameNode
firewall-cmd --permanent --add-port=50070/tcp   # NameNode Web UI
firewall-cmd --permanent --add-port=9866/tcp    # DataNode数据传输
firewall-cmd --reload

禁用SELinux：

setenforce 0            # 临时关闭
sed -i 's/SELINUX=enforcing/SELINUX=disabled/g' /etc/selinux/config  # 永久关闭

4. SSH免密登录失败

问题：启动脚本无法远程启动守护进程。
解决方法：
- 生成密钥对：ssh-keygen -t rsa。
- 将公钥复制到所有节点：
```
ssh-copy-id -i ~/.ssh/id_rsa.pub user@target-host
```
- 验证免密登录：ssh target-host。
- 检查权限：
```
chmod 700 ~/.ssh
chmod 600 ~/.ssh/authorized_keys
```

5. NameNode/DataNode启动失败

日志位置：$HADOOP_HOME/logs/
- 检查 hadoop-*-namenode-*.log 和 hadoop-*-datanode-*.log。
常见原因：
- 多次格式化NameNode：导致DataNode的clusterID与NameNode不匹配。
  - 解决方法：删除所有节点的数据目录（dfs.datanode.data.dir 和 dfs.namenode.name.dir），重新格式化。
```
hdfs namenode -format
```
- 端口冲突：确保 9000（NameNode RPC）和 50070（Web UI）未被占用。