笔记屋 笔记屋
  • 首页
  • 大数据
    • Hadoop
  • 码农碎笔
  • 杂乱无章
  • 好物收藏

Hadoop运行环境搭建

1、准备虚拟机(最小化安装)

2、配置一台纯净版模板机

  • 固定ip地址、修改主机名(hadoop100)
  • 用xshell工具连接模板机
  • 通过yum安装方式安装必要的软件

[root@hadoop100 ~]# yum install -y epel-release
[root@hadoop100 ~]# yum install -y psmisc nc net-tools rsync vim lrzsz ntp libzstd openssl-static tree iotop git

  • 关防火墙

[root@hadoop100 ~]# systemctl stop firewalld
[root@hadoop100 ~]# systemctl disable firewalld
  • 修改hosts文件
  • 创建普通用户(hadoop)

[root@hadoop100 ~]# useradd hadoop
[root@hadoop100 ~]# passwd hadoop
  • 提升hadoop用户,能拥有root权限

[root@hadoop100 ~]# vim /etc/sudoers

## Allow root to run any commands anywhere
root ALL=(ALL) ALL
hadoop ALL=(ALL) NOPASSWD:ALL
  • 在Linux的/opt目录下创建 software 和 module

[root@hadoop100 ~]# mkdir /opt/module<br>
[root@hadoop100 ~]# mkdir /opt/software
  • 将software 和 module 目录的所有者和所属组修改为 hadoop

[root@hadoop100 ~]# chown hadoop:hadoop /opt/module 
[root@hadoop100 ~]# chown hadoop:hadoop /opt/software
  • 卸载虚拟机自带的 open JDK

[root@hadoop100 ~]# rpm -qa | grep -i java | xargs -n1 rpm -e --nodeps
  • 重启虚拟机

[root@hadoop100 ~]# reboot

3、准备hadoop102 机器(通过克隆模板机的方式创建)

  • 修改IP
  • 修改主机名

[root@hadoop100 ~]# hostnamectl --static set-hostname hadoop102

或者


[root@hadoop100 ~]# vim /etc/hostname
hadoop102

4、在hadoop102上安装jdk

  1. 将jdk的安装包上传到 /opt/software 下
  2. 将jdk安装到 /opt/module 下
  3. 配置jdk的环境变量
  4. 在/etc/profile.d 目录下创建自定的配置文件 my_env.sh
  5. 在my_env.sh写入以下内容

#声明JAVA_HOME变量
JAVA_HOME=/opt/module/jdk1.8.0_212
#将JAVA_HOME变量追加到PATH变量上
PATH=$PATH:$JAVA_HOME/bin
#提升JAVA_HOME变量为系统变量
export JAVA_HOME PATH

5、在hadoop102上安装hadoop

  1. 将hadoop的安装包上传到 /opt/software 下
  2. 将hadoop安装到 /opt/module 下
  3. 配置hadoop的环境变量
  4. 在my_env.sh写入以下内容

#声明HADOOP_HOME变量
HADOOP_HOME=/opt/module/hadoop-3.1.3

#将HADOOP_HOME/bin 、HADOOP_HOME/sbin 追加到PATH变量上
PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

#提升JAVA_HOME、PATH、HADOOP_HOME 变量为系统变量
export JAVA_HOME PATH HADOOP_HOME

6、Hadoop的目录结构的了解

重要目录

  • bin目录:存放对Hadoop相关服务(HDFS,YARN)进行操作的脚本
  • etc目录:Hadoop的配置文件目录,存放Hadoop的配置文件
  • lib目录:存放Hadoop的本地库(对数据进行压缩解压缩功能)
  • sbin目录:存放启动或停止Hadoop相关服务的脚本
  • share目录:存放Hadoop的依赖jar包、文档、和官方案例
有帮助?
从Hadoop框架讨论大数据生态
Hadoop运行模式-本地运行模式
Copyright © 2022 笔记屋. 苏ICP备20033168号