外贸网站电子建设,高州网站建设公司,网站正在建设中的英文,企业网站备案申请分布式数据库环境#xff08;HBase分布式数据库#xff09;的搭建与配置 1. VMWare安装CentOS7.9.20091.1 下载 CentOS7.9.2009 映像文件1.2启动 VMware WorkstationPro#xff0c;点击“创建新的虚拟机”1.3在新建虚拟机向导界面选择“典型#xff08;推荐#xff09;”1… 分布式数据库环境HBase分布式数据库的搭建与配置 1. VMWare安装CentOS7.9.20091.1 下载 CentOS7.9.2009 映像文件1.2启动 VMware WorkstationPro点击“创建新的虚拟机”1.3在新建虚拟机向导界面选择“典型推荐”1.4安装来源选择“安装程序光盘映像文件iso”点击“浏览”按钮选择下载的 centos7映像文件CentOS-7-x86_64-Minimal-2009.iso1.5指定虚拟机名称和位置建议存储位置从默认的 C 盘改为其它盘1.6指定磁盘容量可以使用推荐的 20GB1.7点击“自定义硬件”修改默认配置参数1.8 VM 自动运行 CentOS7 映像文件点击鼠标进入虚拟机用键盘选中“Install CentOS7”然后按回车键1.9在 CentOS 7 的安装欢迎界面选择安装语言为“简体中文”。1.10设置“安装信息摘要”。1.10.1 点击“安装位置”在新窗口中可以使用默认设置直接点击左上角的“完成”按钮。1.10.2点击“KDUMP”在新窗口中取消“启用 kdump”后点击左上角的“完成”按钮。1.10.3点击“网络和主机名”在新窗口中点击按钮打开以太网连接在下方设置主机名为“centos7server”并点击“应用”按钮然后点击左上角的“完成”按钮。1.10.4配置完毕点击“开始安装”。在安装界面点击“ROOT 密码”在新窗口中设置密码为root然后需要两次点击左上角的“完成按钮”返回安装界面。1.10.5等安装结束后点击“重启”按钮。1.10.6重启进入登陆界面输入用户名 root密码 root输入密码时没有回显即可成功登陆。 1.11系统设置1.11.1修改网卡配置信息 2. 安装hadoop2.1克隆一台虚拟机设置网卡静态ip2.2配置主机名2.3安装jdk和Hadoop2.4配置相关文件2.5运行启动hadoop 3. 安装Hbase3.1 准备安装文档。3.2配置环境变量3.3修改Hbase配置文件3.4启动hbase。 4.总结5.参考资料 1. VMWare安装CentOS7.9.2009
1.1 下载 CentOS7.9.2009 映像文件
下载网址下载网址
1.2启动 VMware WorkstationPro点击“创建新的虚拟机” 1.3在新建虚拟机向导界面选择“典型推荐” 1.4安装来源选择“安装程序光盘映像文件iso”点击“浏览”按钮选择下载的 centos7映像文件CentOS-7-x86_64-Minimal-2009.iso 1.5指定虚拟机名称和位置建议存储位置从默认的 C 盘改为其它盘 1.6指定磁盘容量可以使用推荐的 20GB 1.7点击“自定义硬件”修改默认配置参数 设置内存为 4G处理器为 2 核 移除打印机选中打印机后点击移除按钮 配置完成后点击“关闭”按钮。 回到新建虚拟机向导界面点击“完成”按钮。
1.8 VM 自动运行 CentOS7 映像文件点击鼠标进入虚拟机用键盘选中“Install CentOS7”然后按回车键 1.9在 CentOS 7 的安装欢迎界面选择安装语言为“简体中文”。
1.10设置“安装信息摘要”。
1.10.1 点击“安装位置”在新窗口中可以使用默认设置直接点击左上角的“完成”按钮。
1.10.2点击“KDUMP”在新窗口中取消“启用 kdump”后点击左上角的“完成”按钮。 1.10.3点击“网络和主机名”在新窗口中点击按钮打开以太网连接在下方设置主机名为“centos7server”并点击“应用”按钮然后点击左上角的“完成”按钮。 1.10.4配置完毕点击“开始安装”。在安装界面点击“ROOT 密码”在新窗口中设置密码为root然后需要两次点击左上角的“完成按钮”返回安装界面。
1.10.5等安装结束后点击“重启”按钮。
1.10.6重启进入登陆界面输入用户名 root密码 root输入密码时没有回显即可成功登陆。 1.11系统设置
1.11.1修改网卡配置信息
查看当前ip地址 切换工作目录cd /etc/sysconfig/network-scripts/ 编辑网卡文件vi ifcfg-ens33 默认为命令模式无法修改文件内容按下字母“i”进入编辑模式修改内容如下 修改完毕后按“ESC”键进入命令模式输入“:wq”保存退出 重启网卡systemctl restart network 检查网络是否连通ping www.baidu.com 显示如下结果说明网络正常按 CtrlC 退出执行 关闭防火墙systemctl disable firewalld 关闭 selinuxsed -i ‘s/enforcing/disabled/’ /etc/selinux/config 重启reboot
2. 安装hadoop
2.1克隆一台虚拟机设置网卡静态ip
• cd /etc/sysconfig/network-scripts • 编辑网卡文件vi ifcfg-ens33 • 将IPADDR的值修改为192.168.37.182其它配置不变。 • 保存后执行systemctl restart network即可重启网卡使设置生效 • 运行ping www.baidu.com检查网络是否连通。
2.2配置主机名
• 在虚拟机hadp01上编辑hostname文件vi /etc/hostname,修改文件内容为hadp01 • 编辑hadp01的hosts文件vi /etc/hosts。 加以下内容192.168.3.182 hadp02 • 在虚拟机的hosts文件中增运行reboot重启CentOS系统使设置生效
2.3安装jdk和Hadoop
• 在官网下载文件jdk-8u201-linux-x64.tar.gz和hadoop-2.9.2.tar.gz通过MobaXterm将保存在Win10中的jdk-8u201-linux-x64.tar.gz和hadoop-2.9.2.tar.gz传递到hadp01的/home/root目录中并解压到执行命令tar -xzvf jdk-8u201-linux-x64.tar.gz -C apps/tar -xzvf hadoop-2.9.2.tar.gz -C apps/ 将jdk解压到指定目录中(/home/root/apps)。 • vi /etc/profile 编辑/etc/profile文件在文件的末尾设置JAVA环境变量
2.4配置相关文件
• 2.4.1 vi /etc/profile 编辑/etc/profile文件在文件的末尾设置Hadoop环境变量 运行source /etc/profile 让修改后的/etc/profile文件立即生效 • 执行命令cd /home/root/apps/hadoop-2.9.2/etc/hadoop切换到目录/home/root/apps/hadoop-2.9.2/etc/hadoop下。 • 编辑core-site.xml文件vi core-site.xml • 编辑hdfs-site.xml文件vi hdfs-site.xml • 根据模板创建mapred-site.xml文件cp mapred-site.xml.template mapred-site.xml • 编辑mapred-site.xml文件 • 编辑yarn-site.xml文件vi yarn-site.xml o yarn.nodemanager.aux-services指定辅助服务 o yarn.resourcemanager.hostname指定resourcemanager的地址
propertynameyarn.nodemanager.aux-services/name
valuemapreduce_shuffle/value
/property
propertynameyarn.resourcemanager.hostname/name
valuehadp01/value
/property
• 编辑hadoop-env.sh文件vi hadoop-env.sh o 将默认的export JAVA_HOME${JAVA_HOME}替换为export JAVA_HOME/home/root/apps/jdk1.8.0_201 • 编辑yarn-env.sh文件i o 将默认的# export JAVA_HOME/home/y/libexec/jdk1.6.0/替换为export JAVA_HOME/home/root/apps/jdk1.8.0_201记得删除这一行最前面的# • 编辑mapred-env.sh文件vi mapred-env.sh o 将默认的# export JAVA_HOME/home/y/libexec/jdk1.6.0/替换为export JAVA_HOME/home/root/apps/jdk1.8.0_201记得删除这一行最前面的# • 编辑slaves文件vi slaves o 将默认的localhost改为hadp01
2.5运行启动hadoop
• 格式化namenode节点hdfs namenode -format • 启动Hadoop集群 o cd /home/root/apps/hadoop-2.9.2/sbin o ./start-all.sh o 提示Are you sure you want to continue connecting (yes/no)?时输入yes • jps显示当前所有java进程pid查看Hadoop是否启动成功NameNode,SecondaryNameNode,DataNode,ResouceManager,NodeManager • 在Windows中启动浏览器查看运行情况推荐使用Google Chrome浏览器 o HDFS的Web页面192.168.37.182:50070 o YARN的Web页面192.168.37.182:8088
3. 安装Hbase
3.1 准备安装文档。
• 在Windows中下载HBase下载链接https://archive.apache.org/dist/hbase/2.2.6/hbase-2.2.6-bin.tar.gz • 利用MobaXterm将Windows中保存的hbase-2.2.6-bin.tar.gz拷贝到hadp02虚拟机存储位置/home/root/ • 在hadp01中切换到HBase安装文件所在目录cd /home/root • 解压缩到apps目录中tar -xzvf hbase-2.2.6-bin.tar.gz -C apps
3.2配置环境变量
• 编辑/etc/profile文件vi /etc/profile在文件末尾增加内容如下 • 并使修改的profile文件生效source /etc/profile
3.3修改Hbase配置文件
• 切换到配置文件目录cd /home/root/apps/hbase-2.2.6/conf • 编辑hbase-env.sh文件vi hbase-env.sh o 配置JAVA_HOMEHBASE_MANAGES_ZK o 找到# export JAVA_HOME/usr/java/jdk1.6.0/修改为export JAVA_HOME/home/root/apps/jdk1.8.0_201注意要去掉最前面的# o 找到如下代码
# Tell HBase whether it should manage its own instance of Zookeeper or not.
# export HBASE_MANAGES_ZKtrue
去掉export前面的#修改效果如下
# Tell HBase whether it should manage its own instance of Zookeeper or not.
export HBASE_MANAGES_ZKtrue
• 编辑hbase-site.xml文件vi hbase-site.xml o 修改第一项hbase.cluster.distributed的value值为true并添加部分内容修改后文件如下 • 编辑regionservers文件vi regionservers删除原有内容localhost修改内容为
3.4启动hbase。
• 启动hdfs集群 • 启动hbase • 检查启动状态。 o 输入jps查看进程中是否包含HMaster、HRegionServer、HQuorumPeer o 在Windows环境下启动Chrome浏览器输入192.168.37.182:16010 • 命令行形式操作hbase。
4.总结
这个搭建过程主要是CentOS上成功完成了Hadoop和HBase的伪分布式安装。主要包括环境配置、Hadoop与HBase的安装、配置与测试。
如果对您有帮助希望您能给我点个赞~
5.参考资料
1HBase基础知识 https://www.cnblogs.com/boanxin/p/10407778.html https://blog.csdn.net/qq_1018944104/article/details/85013790?utm_mediumdistribute.pc_relevant.none-task-blog-BlogCommendFromMachineLearnPai2-3.channel_paramdepth_1-utm_sourcedistribute.pc_relevant.none-task-blog-BlogCommendFromMachineLearnPai2-3.channel_param
2搭建5个节点的hadoop集群环境CDH5 https://blog.csdn.net/u010270403/article/details/51446674
3HBase完全分布式集群环境搭建过程总结 https://blog.csdn.net/qq_38586378/article/details/81352358
附选 Oracle的安装与卸载 目的与要求 掌握Oracle 10g数据库服务器的安装与配置 掌握Oracle 10g数据库服务器安装过程中问题的解决
