一键安装 Hadoop 3.3.6 自动化脚本详解 | CSDN 教程（含 JAVA_HOME 自动配置）

适用系统：CentOS / Ubuntu / 其他主流 Linux 发行版
目标版本：Apache Hadoop 3.3.6（稳定 LTS 版本）
安装路径：/opt/hadoop
前提条件：已安装完整 JDK（非 JRE），并正确设置JAVA_HOME环境变量

在大数据生态中，Hadoop 是分布式存储与计算的基石。然而手动部署 Hadoop 涉及下载、解压、环境变量配置、hadoop-env.sh修改等多个步骤，稍有不慎就会导致“命令找不到”或“Java home not set”等错误。

本文提供一个全自动 Bash 安装脚本，可一键完成 Hadoop 3.3.6 的下载、安装、环境变量配置及 Java 路径注入，极大提升部署效率，特别适合开发测试环境快速搭建或自动化运维场景。

📌 脚本核心功能亮点

• ✅ 强制 root 权限运行（确保/opt/可写）
• ✅ 严格校验JAVA_HOME是否指向完整 JDK（需包含java和jps）
• ✅ 自动从 Apache 官方镜像下载 Hadoop 3.3.6
• ✅ 避免重复下载.tar.gz文件（检查/tmp/）
• ✅ 避免重复解压（检测/opt/hadoop或原始目录是否存在）
• ✅智能写入/etc/profile环境变量（防止重复添加）
• ✅自动修改hadoop-env.sh中的JAVA_HOME（支持注释行替换）
• ✅ 安装后自动验证hdfs version是否可用

📜 完整安装脚本

将以下内容保存为install_hadoop.sh：

#!/bin/bash# 自动安装 Hadoop 并配置 JAVA_HOMEset-eHADOOP_VERSION="3.3.6"HADOOP_INSTALL_DIR="/opt/hadoop"echo"=== Hadoop$HADOOP_VERSION自动安装脚本 ==="# 检查是否为 root 用户if["$EUID"-ne0];thenecho"❌ 请以 root 用户运行此脚本。"exit1fi# 检查 JAVA_HOME 是否设置if[-z"$JAVA_HOME"];thenecho"❌ JAVA_HOME 未设置，请先设置完整 JDK 的 JAVA_HOME"exit1fi# 检查 bin 目录下是否有 java 和 jpsif[!-x"$JAVA_HOME/bin/java"]||[!-x"$JAVA_HOME/bin/jps"];thenecho"❌ JAVA_HOME 指向的目录不完整，缺少 java 或 jps，请使用完整 JDK"exit1fi# 下载 Hadoop 包（如不存在）if[!-f"/tmp/hadoop-$HADOOP_VERSION.tar.gz"];thenecho">>> 正在下载 Hadoop$HADOOP_VERSION..."wget-q https://downloads.apache.org/hadoop/common/hadoop-$HADOOP_VERSION/hadoop-$HADOOP_VERSION.tar.gz -P /tmpelseecho">>> 已存在 /tmp/hadoop-$HADOOP_VERSION.tar.gz，跳过下载。"fi# 检查是否已安装 Hadoopif[-d"$HADOOP_INSTALL_DIR"]||[-d"/opt/hadoop-$HADOOP_VERSION"];thenecho">>> 检测到 Hadoop 目录已存在，跳过解压步骤。"elseecho">>> 解压 Hadoop..."tar-zxf /tmp/hadoop-$HADOOP_VERSION.tar.gz -C /opt/mv-f /opt/hadoop-$HADOOP_VERSION$HADOOP_INSTALL_DIRfi# 写入环境变量（避免重复添加）if!grep-q"HADOOP_HOME"/etc/profile;thenecho">>> 写入 /etc/profile 环境变量..."cat>>/etc/profile<<EOF # Hadoop 环境变量 export JAVA_HOME=$JAVA_HOMEexport HADOOP_HOME=$HADOOP_INSTALL_DIRexport PATH=\$PATH:\$JAVA_HOME/bin:\$HADOOP_HOME/bin:\$HADOOP_HOME/sbin EOFfi# 修改 Hadoop 的 Java 环境配置echo">>> 配置 hadoop-env.sh ..."HADOOP_ENV_FILE="$HADOOP_INSTALL_DIR/etc/hadoop/hadoop-env.sh"# 如果文件中已有 export JAVA_HOME，则更新为当前值；否则追加一行ifgrep-q"^export JAVA_HOME=""$HADOOP_ENV_FILE";thensed-i"s|^export JAVA_HOME=.*|export JAVA_HOME=$JAVA_HOME|""$HADOOP_ENV_FILE"elifgrep-q"^# export JAVA_HOME=""$HADOOP_ENV_FILE";thensed-i"s|^# export JAVA_HOME=.*|export JAVA_HOME=$JAVA_HOME|""$HADOOP_ENV_FILE"elseecho"export JAVA_HOME=$JAVA_HOME">>"$HADOOP_ENV_FILE"fi# 安全加载系统环境变量if[-f /etc/profile];thensource/etc/profile||truefi# 测试 Hadoop 是否可用echo">>> 验证 Hadoop 安装..."ifhdfs version&>/dev/null;thenecho"✅ Hadoop 安装成功！"hdfs versionelseecho"⚠️ Hadoop 安装完成，但无法运行 hdfs，请检查日志。"fiecho"=== Hadoop$HADOOP_VERSION安装完成 ==="

▶️ 使用步骤

1. 确保已安装 JDK 并设置JAVA_HOME

# 示例（OpenJDK 11）exportJAVA_HOME=/usr/lib/jvm/java-11-openjdk

⚠️重要：必须使用JDK（含jps工具），仅 JRE 会导致脚本报错！

2. 保存脚本并赋予执行权限

sudoviminstall_hadoop.shchmod+x install_hadoop.sh

3. 以 root 身份运行（关键！）

sudo-E ./install_hadoop.sh

🔔 注意：使用-E参数可保留当前用户的环境变量（尤其是JAVA_HOME），否则 sudo 会清空环境变量导致脚本失败！

4. 验证安装结果

source/etc/profile# 若当前 shell 未生效hdfs version

预期输出：

Hadoop 3.3.6 ...

🔧 脚本关键技术点解析

1.sudo -E的必要性

普通sudo会重置环境变量，导致$JAVA_HOME为空。-E选项保留调用者的环境变量，确保脚本能读取到正确的 JDK 路径。

2.智能修改hadoop-env.sh

Hadoop 默认的hadoop-env.sh中JAVA_HOME是注释状态。脚本通过sed精准匹配三种情况：

• 已取消注释 → 直接替换
• 仍为注释 → 取消注释并赋值
• 完全不存在 → 追加新行

3.PATH 安全拼接

在/etc/profile中同时加入$HADOOP_HOME/bin和sbin，确保hdfs、yarn、start-dfs.sh等命令全局可用。

❓ 常见问题解答

Q1：为什么必须用 root？

A：脚本需写入/opt/（系统级目录）和/etc/profile（全局环境变量），普通用户无权限。

Q2：能否用于 Hadoop 3.4.x 或 3.3.4？

A：可以！只需修改脚本开头的HADOOP_VERSION="3.3.6"为对应版本号（需确认 Apache 官网存在该版本）。

Q3：安装后能直接启动集群吗？

A：不能。本脚本仅完成单机伪分布模式的基础环境搭建。要运行 HDFS/YARN，还需手动配置：

• core-site.xml
• hdfs-site.xml
• yarn-site.xml
• mapred-site.xml
• 格式化 NameNode：hdfs namenode -format

✅ 总结

本脚本解决了 Hadoop 安装中最常见的两个痛点：

1. 环境变量配置繁琐
2. hadoop-env.sh中 Java 路径未设置导致启动失败

通过自动化处理，开发者可将精力集中在集群配置与业务开发上，而非重复的环境搭建。

💡建议组合使用：
先运行 MySQL 5.7 自动安装脚本 → 再运行 Hive 自动安装脚本 → 最后运行本 Hadoop 脚本，即可快速构建 Hive + Hadoop + MySQL 元数据仓库环境！