查看服务器进程 查看java 进程脚本：jpsall [hadoop@hadoop102 ~]$ cd /home/hadoop/bin [hadoop@hadoop102 ~]$ vim jpsall 然后输入 #!/bin/bash for host in hadoop102 hadoop103 hadoop104 do echo ============= ...

日志聚集概念 应用运行完成以后，将程序运行日志信息上传到 HDFS 系统上。 日志聚集功能好处 可以方便的查看到程序运行详情，方便开发调试。 注意：开启日志聚集功能，需要重新启动 NodeManager 、ResourceManager 和HistoryServer。 ...

为了查看程序的历史运行情况，需要配置一下历史服务器。具体配置步骤如下： 配置 mapred-site.xml [hadoop@hadoop102 hadoop]$ vim mapred-site.xml 在该文件里面增加如下配置。 ...

配置 workers [hadoop@hadoop102 hadoop]$ vim /opt/module/hadoop-3.1.3/etc/hadoop/workers 在该文件中增加如下内容： hadoop102hadoop103hadoop104 注意：该文件中添加的内容结尾不允许有空格，文件中不允许有空行。 ...

SSH 无密登录配置 生成公钥和私钥 [hadoop@hadoop102 .ssh]$ ssh-keygen -t rsa 然后敲（三个回车），就会生成两个文件 id_rsa（私钥）、id_rsa.pub（公钥）将公钥拷贝到要免密登录的目标机器上 [hadoop@hadoop102 .ssh]$ ssh-copy-id hadoop102 [hadoop@hadoo ...

准备完全分布式需要的机器 hadoop102 hadoop103 hadoop104 同步数据 将hadoop102的数据（jdk、hadoop安装目录同步，环境变量文件）同步到 hadoop103 hadoop104 scp（secure copy）安全拷贝 scp 定义 scp 可以实现服务器与服务器之间的数据拷贝。 ...

Hadoop的运行模式介绍 本地模式 hadoop默认安装后启动就是本地模式，就是将来的数据存在Linux本地，并且运行MR 程序的时候也是在本地机器上运行。 ...

1、准备虚拟机（最小化安装） 2、配置一台纯净版模板机 固定ip地址、修改主机名（hadoop100）用xshell工具连接模板机通过yum安装方式安装必要的软件 [root@hadoop100 ~]# yum install -y epel-release [root@hadoop100 ~]# yum install -y psmisc nc net-tools rsyn ...

Hadoop是什么？ 广义：Hadoop生态圈的代名词狭义：Apache旗下的一款开源免费软件 Hadoop发展历史（了解） 作者：卡大爷需求：基于早期搜索业务对海量数据的存储和计算的遇到的瓶颈创作源泉：谷歌提出的大数据论文 Hadoop的版本发展 学习阶段：重点掌握Apache的基础版本 生产领域一般使用商业版或者社区（CDH版本） Hadoop ...

大数据的概念 在生成领域，面对海量数据必须要解决的两个问题？ 海量数据的存储（合理高效的维护海量数据）海量数据的计算分析（产生最终数据的价值） 大数据的特点（4v） Volume（大量）Velocity（高速）Variety（多样）Value（低价值密度） 大数据的业务流程和部门分布 数仓组— 实时组 ...