最新网站备案教程搜索网站排名

环境搭建背景

为什么不从hadoop100或者hadoop101开始，而是从hadoop102开始？

因为一开始hadoop101留给了单台服务器操作使用，而用102,103,104搭建的是完全分布式，真正的生产集群。后面可以用101进行源码的编译，利用模板机hadoop100，克隆三台虚拟机：hadoop102 hadoop103 hadoop104。

虚拟机创建和环境配置

最小化安装Neokylin7.0，硬盘50G，手动配置ipv4，主机名：hadoop102，子网掩码：255.255.255.0，网关：192.168.88.2（以自己电脑的为准，倒数第二位会不一样），（配置好环境后再克隆其他集群信息）

安装过程注意事项

虚拟机设置

网络适配器选择NAT模式，Vmare在NAT模式默认网关末尾为2，硬盘选大一点，内容可以调到4G、8G，如下图所示

软件选择

选择最小化安装

KOUMP

关闭 kdump（没什么用，节省时间）

系统分区

系统自动分区即可，也可以自己配置分区。

安装Neokylin7.0系统一般至少需要三个分区

• 一个交换分区（大小为物理内存的两倍）

• 一个boot分区 （300MB）

• 一个根分区 （大于10GB)

我的分区配置如下：

• 一个home分区 /home （3GB）

• 一个交换分区 /swap （4GB）

• 一个boot分区 /boot （1GB）

• 一个根分区 / （25GB)

• 一个var分区 /var （15GB）

/var 包括系统运行时要改变的数据。其中包括每个系统是特定的，即不能够与其他计算机共享的目录，如 /var/log， /var/lock， /var/run。有些目录还是可以与其他系统共享，如/var/mail、/var/cache/man、 /var/cache/fonts、/var/spool/news。

var 目录存在的目的是把 usr 目录在运行过程中需要更改的文件或者临时生成的文件及目录提取出来，由此可以使 usr 目录挂载为只读的方式。隐含要求 var 目录必须挂载为可以读写的方式。

本次项目中需要将 HDFS 的 NN 和 DN 工作主目录，Hadoop 的 log 日志文件目录全部都放到 /var 目录下，所以专门给了较大的分区。如图所示：

网络和主机名

打开以太网，并记录信息

• 记录网卡名称：ens160（也可以之后用 ifconfig 查看）

• IP地址：192.168.88.134（以自己主机为准，倒数第二位会不一样），我们可以设置IP地址 192.168.88.x

• 子网掩码：255.255.255.0

• 网关一般都是IP地址最后一位换成2，即192.168.88.2

• DNS服务器写网关就可以。

然后点击配置。如图所示：

配置 IPv4

IPv4设置 ➡ 手动 ➡ 添加记录的IP地址、子网掩码、网关、DNS服务器，最后保存，如图所示：

修改主机名

将主机名改成hadoop102，点击应用，当前主机名显示 hadoop102（后面就不需要再去 /etc/hostname 改了），如图所示：

创建用户

将此用户做为管理员（后面需要用到 sudo 管理员模式运行的时候就不需要再修改 /etc/sudoers 文件了），安装完毕后，重启虚拟机。如图所示：

安装完完全拷贝出三台机器并修改机器名称，就可以去使用 Mobaxterm 或者 XShell 远程登录来进行后续的 Hadoop 集群搭建操作了

hadoop完全分布式搭建-CSDN博客