珠海做网站,南宁商城网站建设,搜索李晓峰,济南58同城网目录 1. Centos7.5硬件配置1.1 创建虚拟机1.2 虚拟机系统设置 2. IP地址和主机名称配置3. 软件配置3.1 安装 epel-release3.2 卸载虚拟机自带的JDK3.3 克隆虚拟机3.4 修改克隆虚拟机的IP3.5 JDK安装3.6 Hadoop安装 4. Hadoop目录结构 1. Centos7.5硬件配置
1.1 创建虚拟机 1.2… 目录 1. Centos7.5硬件配置1.1 创建虚拟机1.2 虚拟机系统设置 2. IP地址和主机名称配置3. 软件配置3.1 安装 epel-release3.2 卸载虚拟机自带的JDK3.3 克隆虚拟机3.4 修改克隆虚拟机的IP3.5 JDK安装3.6 Hadoop安装 4. Hadoop目录结构 1. Centos7.5硬件配置
1.1 创建虚拟机 1.2 虚拟机系统设置
开启虚拟化Win10一般都是开启的 下载Centos7.5镜像 链接xxxxxxx 然后开启此虚拟机开始安装。 安装需要一些时间ctrlalt呼出鼠标 e 设置密码简单点就好 设置一个普通账号 至此安装完毕
2. IP地址和主机名称配置
有三个地方需要配置IP地址VMware、Win10服务器、hadoop100服务器
配置VMware IP设置顺序 选择VMnet8设置的网段避开1就行 DHCP设置时注意区间配置Win10 IP 注意设置后会影响浏览器访问速度 如果Windows中没有出现上面的VMnet8可在VMware中点还原默认配置试试 配置hadoop100 IP和主机名称 进入虚拟机——打开终端su root
vim /etc/sysconfig/network-scripts/ifcfg-ens33修改主机名称为hadoop100vim /etc/hostname修改主机名称映射vim /etc/hosts修改完后reboot重启 重新进入虚拟机打开终端检查下修改是否成功
3. 软件配置
下面操作都在Xshell中执行。 配置IP地址映射可选项 进入电脑 C:\Windows\System32\drivers\etc路径下打开hosts文件添加如下内容
192.168.10.100 hadoop100
192.168.10.101 hadoop101
192.168.10.102 hadoop102
192.168.10.103 hadoop103
192.168.10.104 hadoop104
192.168.10.105 hadoop105
192.168.10.106 hadoop106
192.168.10.107 hadoop107
192.168.10.108 hadoop1083.1 安装 epel-release
注:Extra Packages for Enterprise Limux是为“红帽系”的操作系统提供额外的软件包适用于 RHEL、CentOS和 Scientific Linux。相当于是一个软件仓库大多数 rpm 包在官方repository 中是找不到的) 注意在root账号下操作
su root
yum install -y epel-release——自己执行安装命令的时候出现了如下问题 排查了一下发现是镜像原因解决方案使用阿里云或其他国内镜像源 设置YUM仓库源为阿里云镜像源
sudo nano /etc/yum.repos.d/CentOS-Base.repo将内容替换为以下内容
[base]
nameCentOS-$releasever - Base - mirrors.aliyun.com
baseurlhttp://mirrors.aliyun.com/centos/$releasever/os/$basearch/
gpgcheck1
gpgkeyhttp://mirrors.aliyun.com/centos/RPM-GPG-KEY-CentOS-7[updates]
nameCentOS-$releasever - Updates - mirrors.aliyun.com
baseurlhttp://mirrors.aliyun.com/centos/$releasever/updates/$basearch/
gpgcheck1
gpgkeyhttp://mirrors.aliyun.com/centos/RPM-GPG-KEY-CentOS-7[extras]
nameCentOS-$releasever - Extras - mirrors.aliyun.com
baseurlhttp://mirrors.aliyun.com/centos/$releasever/extras/$basearch/
gpgcheck1
gpgkeyhttp://mirrors.aliyun.com/centos/RPM-GPG-KEY-CentOS-7[centosplus]
nameCentOS-$releasever - Plus - mirrors.aliyun.com
baseurlhttp://mirrors.aliyun.com/centos/$releasever/centosplus/$basearch/
gpgcheck1
enabled0
gpgkeyhttp://mirrors.aliyun.com/centos/RPM-GPG-KEY-CentOS-7保存文件并退出。 关闭防火墙关闭防火墙开机自启
systemctl stop firewalld
systemctl disable firewalld.service创建用户并设置密码
useradd xxx
passwd 123456配置创建的用户具有root权限方便后期加sudo执行root权限的命令
vim /etc/sudoers在 /opt 目录下创建文件夹并修改所属主和所属组
[roothadoop100 ~] mkdir /opt/module
[roothadoop100 ~] mkdir /opt/software[roothadoop100 ~] chown xxx:xxx /opt/module
[roothadoop100 ~] chown xxx:xxx /opt/software3.2 卸载虚拟机自带的JDK
注意如果你的虚拟机是最小化安装则不需要执行这一步
[roothadoop100 ~] rpm -qa | grep -i java | xargs -n1 rpm -e --nodepsrpm -qa查询安装的所有rpm软件包grep -i忽略大小写xargs -n1表示每次只传递一个参数rpm -e --nodeps强制卸载软件 重启虚拟机
[roothadoop100 ~] reboot3.3 克隆虚拟机
先关闭虚拟机 同理克隆得到 hadoop103、hadoop104
3.4 修改克隆虚拟机的IP
分别root账号进入hadoop102、hadoop103、hadoop104打开终端
vim /etc/sysconfig/network-scripts/ifcfg-ens33分别修改IPADDR192.168.10.102、IPADDR192.168.10.103、IPADDR192.168.10.104
vim /etc/hostname分别修改名称为 hadoop102、hadoop103、hadoop104
reboot3.5 JDK安装
进入到之前创建的software目录通过
[roothadoop102 opt] cd software/通过Xftp或其他工具将JDK和Hadoop安装包一起上传至该目录 执行下面命令安装
[roothadoop102 software] tar -zxvf jdk-8u212-linux-x64.tar.gz -C /opt/module/配置JDK环境变量
[roothadoop102 software] cd /opt/module/jdk1.8.0_212[roothadoop102 jdk1.8.0_212] cd /etc/profile.d
[roothadoop102 jdk1.8.0_212] ll[roothadoop102 profile.d] sudo vim my_env.sh重新加载环境变量配置
[roothadoop102 profile.d] source /etc/profile测试
[roothadoop102 profile.d] java -version3.6 Hadoop安装
[roothadoop102 software] tar -zxvf hadoop-3.1.3.tar.gz -C /opt/module/配置Hadoop环境变量
[roothadoop102 hadoop-3.1.3] sudo vim /etc/profile.d/my_env.sh#JAVA_HOME
export JAVA_HOME/opt/module/jdk1.8.0_212
export PATH$PATH:$JAVA_HOME/bin#HADOOP_HOME
export HADOOP_HOME/opt/module/hadoop-3.1.3
export PATH$PATH:$HADOOP_HOME/bin
export PATH$PATH:$HADOOP_HOME/sbin重新加载环境变量配置
[roothadoop102 hadoop-3.1.3] source /etc/profile测试
[roothadoop102 hadoop-3.1.3] hadoop4. Hadoop目录结构
1bin目录存放对Hadoop相关服务hdfsyarnmapred进行操作的脚本 2etc目录Hadoop的配置文件目录存放Hadoop的配置文件 3lib目录存放Hadoop的本地库对数据进行压缩解压缩功能 4sbin目录存放启动或停止Hadoop相关服务的脚本 5share目录存放Hadoop的依赖jar包、文档、和官方案例
后续经常使用的目录如下 至此大功告成
