好的网站建设网站上海网络seo
1、Hadoop源码编译
安装包、源码包下载地址
Index of /dist/hadoop/common/hadoop-3.3.0为什么要重新编译Hadoop源码?
匹配不同操作系统本地库环境，Hadoop某些操作比如压缩、IO需要调用系统本地库（*.so|*.dll） 修改源码、重构源码
如何编译Hadoop
源码包根目录下文件：BUILDING.txt 详细步骤参考附件资料课程提供编译好的Hadoop安装包
hadoop-3.3.0-Centos7-64-with-snappy.tar.gz
Step1:集群角色规划
角色规划的准则
根据软件工作特性和服务器硬件资源情况合理分配
比如依赖内存工作的NameNode是不是部署在大内存机器上？
角色规划注意事项
资源上有抢夺冲突的，尽量不要部署在一起 工作上需要互相配合的。尽量部署在一起
Step2:服务器基础环境准备
主机名（3台机器）
vim /etc/hostname
Hosts映射（3台机器）
vim /etc/hosts
防火墙关闭（3台机器）
systemctl stop firewalld.service #关闭防火墙
systemctl disable firewalld.service #禁止防火墙开启自启
ssh免密登录（node1执行->node1|node2|node3）
ssh-keygen #4个回车 生成公钥、私钥
ssh-copy-id node1、ssh-copy-id node2、ssh-copy-id node3 #
集群时间同步（3台机器）
yum -y install ntpdate ntpdate ntp4.aliyun.com
创建统一工作目录（3台机器）
mkdir -p /export/server/ #软件安装路径
mkdir -p /export/data/ #数据存储路径
mkdir -p /export/software/ #安装包存放路径
Step3:上传安装包、解压安装包
JDK 1.8安装（3台机器）
上传、解压Hadoop安装包（node1）
Step4:Hadoop安装包目录结构
配置文件概述
hdfs-site.xml hdfs文件系统模块配置 mapred-site.xml MapReduce模块配置 yarn-site.xml yarn模块配置
Step5:编辑Hadoop配置文件（1）
hadoop-env.sh
core-site.xml
lhdfs-site.xml
lmapred-site.xml
yarn-site.xml
lworkers
Step7:配置Hadoop环境变量
在node1上配置Hadoop环境变量
vim /etc/profile
export HADOOP_HOME=/export/server/hadoop-3.3.0
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
将修改后的环境变量同步其他机器
scp /etc/profile root@node2:/etc/ scp /etc/profile root@node3:/etc/
重新加载环境变量 验证是否生效（3台机器）
source /etc/profile
hadoop #验证环境变量是否生效
Step8:NameNode format（格式化操作）
首次启动HDFS时，必须对其进行格式化操作。
format本质上是初始化工作，进行HDFS清理和准备工作
命令：hdfs namenode -format
