深圳网站建设延安,手机网站制作的公司,教育网站解决方案,网站建设前准备一、安装包下载
官方网址#xff1a;https://hadoop.apache.org#xff0c;点击Download。 hadoop环境配置前置准备-CSDN博客
或者从网盘资料中获取安装包
链接: https://pan.baidu.com/s/1vTQWQLmZ8JHUqs5Us5FcFQ?pwdzgzs 提取码: zgzs 在前置准备章节#xff0c;我们…一、安装包下载
官方网址https://hadoop.apache.org点击Download。 hadoop环境配置前置准备-CSDN博客
或者从网盘资料中获取安装包
链接: https://pan.baidu.com/s/1vTQWQLmZ8JHUqs5Us5FcFQ?pwdzgzs 提取码: zgzs 在前置准备章节我们准备了基于VMware的三台虚拟机其硬件配置如下。 节点 CPU 内存 node1 1核心 4GB node2 1核心 2GB node3 1核心 2GB
Hadoop HDFS的角色包含 NameNode主节点管理者 DataNode从节点工作者 SecondaryNameNode主节点辅助 节点 服务 node1 NameNode、DataNode、SecondaryNameNode node2 DataNode node3 DataNode
注意
请确认已经完成前置准备中的服务器创建、固定IP、防火墙关闭、Hadoop用户创建、SSH免密、JDK部署等操作。
hadoop环境配置前置准备-CSDN博客
二、上传 解压 1. 上传Hadoop安装包到node1节点中位置 /export/server
2. 解压缩安装包到/export/server/中
tar -zxvf hadoop-3.3.4.tar.gz -C /export/server3. 构建软链接
cd /export/serverln -s /export/server/hadoop-3.3.4 hadoop4. 进入hadoop安装包内
cd hadoop5、cd 进入Hadoop安装包内通过
ls -l
命令查看文件夹内部结构 各个文件夹含义如下
• bin 存放 Hadoop 的各类程序命令 • etc 存放 Hadoop 的配置文件 • include C 语言的一些头文件 • lib 存放 Linux 系统的动态链接库 .so 文件 • libexec 存放配置 Hadoop 系统的脚本文件 .sh 和 .cmd • licenses-binary 存放许可证文件 • sbin 管理员程序 super bin • share 存放二进制源码 Java jar 包 三、修改配置文件应用自定义设置 配置HDFS集群我们主要涉及到如下文件的修改
• workers 配置从节点 DataNode 有哪些 • hadoop-env.sh 配置 Hadoop 的相关环境变量 • core-site.xml Hadoop 核心配置文件 • hdfs-site.xml HDFS 核心配置文件 这些文件均存在与$HADOOP_HOME/etc/hadoop文件夹中。
ps$HADOOP_HOME是后续我们要设置的环境变量其指代Hadoop安装文件夹即/export/server/hadoop
一、配置workers文件
# 进入配置文件目录
cd etc/hadoop# 编辑workers文件
vim workers# 填入如下内容
node1
node2
node3填入的node1、node2、node3表明集群记录了三个从节点DataNode
二、配置hadoop-env.sh文件
# 编辑
vim hadoop-env.sh# 填入如下内容
export JAVA_HOME/export/server/jdk
export HADOOP_HOME/export/server/hadoop
export HADOOP_CONF_DIR$HADOOP_HOME/etc/hadoop
export HADOOP_LOG_DIR$HADOOP_HOME/logs• JAVA_HOME 指明 JDK 环境的位置在哪 • HADOOP_HOME 指明 Hadoop 安装位置 • HADOOP_CONF_DIR 指明 Hadoop 配置文件目录位置 • HADOOP_LOG_DIR 指明 Hadoop 运行日志目录位置 通过记录这些环境变量 来指明上述运行时的重要信息
三、配置core-site.xml文件
# 编辑
vim core-site.xml# 在文件内部填入如下内容
configurationpropertynamefs.defaultFS/namevaluehdfs://node1:8020/value/propertypropertynameio.file.buffer.size/namevalue131072/value/property
/configurationhdfs://node1:8020为整个HDFS内部的通讯地址应用协议为hdfs://Hadoop内置协议
表明DataNode将和node1的8020端口通讯node1是NameNode所在机器
此配置固定了node1必须启动NameNode进程
四、配置hdfs-site.xml文件
# 编辑hdfs-site.xml
vim hdfs-site.xml# 在文件内部填入如下内容
configurationpropertynamedfs.datanode.data.dir.perm/namevalue700/value/propertypropertynamedfs.namenode.name.dir/namevalue/data/nn/value/propertypropertynamedfs.namenode.hosts/namevaluenode1,node2,node3/value/propertypropertynamedfs.blocksize/namevalue268435456/value/propertypropertynamedfs.namenode.handler.count/namevalue100/value/propertypropertynamedfs.datanode.data.dir/namevalue/data/dn/value/property
/configuration
keydfs.datanode.data.dir.perm 含义hdfs文件系统默认创建的文件权限设置 值700即rwx------
keydfs.namenode.name.dir 含义NameNode元数据的存储位置 值/data/nn在node1节点的/data/nn目录下
keydfs.namenode.hosts 含义NameNode允许哪几个节点的DataNode连接即允许加入集群 值node1、node2、node3这三台服务器被授权
keydfs.blocksize 含义hdfs默认块大小 值268435456256MB
keydfs.namenode.handler.count 含义namenode处理的并发线程数 值100以100个并行度处理文件系统的管理任务
keydfs.datanode.data.dir 含义从节点DataNode的数据存储目录 值/data/dn即数据存放在node1、node2、node3三台机器的/data/dn内
五、准备数据目录 namenode数据存放node1的/data/nn
datanode数据存放node1、node2、node3的/data/dn
执行如下
在node1节点
mkdir -p /data/nnmkdir /data/dn在node2和node3节点
mkdir -p /data/dn
六、分发Hadoop文件夹
目前已经基本完成Hadoop的配置操作可以从node1将hadoop安装文件夹远程复制到node2、node3
分发
# 在node1执行如下命令
cd /export/serverscp -r hadoop-3.3.4 node2:pwd/scp -r hadoop-3.3.4 node3:pwd/在node2执行为hadoop配置软链接
# 在node2执行如下命令
ln -s /export/server/hadoop-3.3.4 /export/server/hadoop在node3执行为hadoop配置软链接
# 在node3执行如下命令
ln -s /export/server/hadoop-3.3.4 /export/server/hadoop七、配置环境变量
为了方便我们操作Hadoop可以将Hadoop的一些脚本、程序配置到PATH中方便后续使用。 在Hadoop文件夹中的bin、sbin两个文件夹内有许多的脚本和程序现在来配置一下环境变量
1、修改环境变量文件
# 编辑
vim /etc/profile# 在/etc/profile文件底部追加如下内容
export HADOOP_HOME/export/server/hadoop
export PATH$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin2、在node2和node3配置同样的环境变量
八、授权为hadoop用户
hadoop部署的准备工作基本完成
为了确保安全hadoop系统不以root用户启动我们以普通用户hadoop来启动整个Hadoop服务
所以现在需要对文件权限进行授权。
ps请确保已经提前创建好了hadoop用户前置准备章节中有讲述并配置好了hadoop用户之间的免密登录
以root身份在node1、node2、node3三台服务器上均执行如下命令
# 以root身份在三台服务器上均执行
chown -R hadoop:hadoop /data
chown -R hadoop:hadoop /export九、格式化整个文件系统
前期准备全部完成现在对整个文件系统执行初始化
格式化namenode
# 确保以hadoop用户执行
su - hadoop# 格式化namenode
hadoop namenode -format启动
# 一键启动hdfs集群
start-dfs.sh# 一键关闭hdfs集群
stop-dfs.sh# 如果遇到命令未找到的错误表明环境变量未配置好可以以绝对路径执行
/export/server/hadoop/sbin/start-dfs.sh
/export/server/hadoop/sbin/stop-dfs.sh十、查看HDFS WEBUI
启动完成后可以在浏览器打开
http://node1:9870即可查看到hdfs文件系统的管理网页。
