1、准备虚拟机（最小化安装）
2、配置一台纯净版模板机
- 固定ip地址、修改主机名（hadoop100）
- 用xshell工具连接模板机
- 通过yum安装方式安装必要的软件
[root@hadoop100 ~]# yum install -y epel-release
[root@hadoop100 ~]# yum install -y psmisc nc net-tools rsync vim lrzsz ntp libzstd openssl-static tree iotop git
- 关防火墙
[root@hadoop100 ~]# systemctl stop firewalld
[root@hadoop100 ~]# systemctl disable firewalld
- 修改hosts文件
- 创建普通用户（hadoop）
[root@hadoop100 ~]# useradd hadoop
[root@hadoop100 ~]# passwd hadoop
- 提升hadoop用户，能拥有root权限
[root@hadoop100 ~]# vim /etc/sudoers
## Allow root to run any commands anywhere
root ALL=(ALL) ALL
hadoop ALL=(ALL) NOPASSWD:ALL
- 在Linux的/opt目录下创建 software 和 module
[root@hadoop100 ~]# mkdir /opt/module<br>
[root@hadoop100 ~]# mkdir /opt/software
- 将software 和 module 目录的所有者和所属组修改为 hadoop
[root@hadoop100 ~]# chown hadoop:hadoop /opt/module
[root@hadoop100 ~]# chown hadoop:hadoop /opt/software
- 卸载虚拟机自带的 open JDK
[root@hadoop100 ~]# rpm -qa | grep -i java | xargs -n1 rpm -e --nodeps
- 重启虚拟机
[root@hadoop100 ~]# reboot
3、准备hadoop102 机器（通过克隆模板机的方式创建）
- 修改IP
- 修改主机名
[root@hadoop100 ~]# hostnamectl --static set-hostname hadoop102
或者
[root@hadoop100 ~]# vim /etc/hostname
hadoop102
4、在hadoop102上安装jdk
- 将jdk的安装包上传到 /opt/software 下
- 将jdk安装到 /opt/module 下
- 配置jdk的环境变量
- 在/etc/profile.d 目录下创建自定的配置文件 my_env.sh
- 在my_env.sh写入以下内容
#声明JAVA_HOME变量
JAVA_HOME=/opt/module/jdk1.8.0_212
#将JAVA_HOME变量追加到PATH变量上
PATH=$PATH:$JAVA_HOME/bin
#提升JAVA_HOME变量为系统变量
export JAVA_HOME PATH
5、在hadoop102上安装hadoop
- 将hadoop的安装包上传到 /opt/software 下
- 将hadoop安装到 /opt/module 下
- 配置hadoop的环境变量
- 在my_env.sh写入以下内容
#声明HADOOP_HOME变量
HADOOP_HOME=/opt/module/hadoop-3.1.3
#将HADOOP_HOME/bin 、HADOOP_HOME/sbin 追加到PATH变量上
PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
#提升JAVA_HOME、PATH、HADOOP_HOME 变量为系统变量
export JAVA_HOME PATH HADOOP_HOME
6、Hadoop的目录结构的了解
重要目录
- bin目录：存放对Hadoop相关服务（HDFS,YARN）进行操作的脚本
- etc目录：Hadoop的配置文件目录，存放Hadoop的配置文件
- lib目录：存放Hadoop的本地库（对数据进行压缩解压缩功能）
- sbin目录：存放启动或停止Hadoop相关服务的脚本
- share目录：存放Hadoop的依赖jar包、文档、和官方案例