安徽建设相关网站,广东专业网站优化公司,国外好的做电视包装的网站,怎么自己做网站备案前言
最近由于工作需要#xff0c;要部署一套ozone。我自己对hadoop这套体系不是很熟悉#xff0c;所以过程磕磕碰碰#xff0c;好不容易勉强搭起来#xff0c;所以记录一下部署方式 准备
三台主机#xff0c;主机均已安装jdk、hdfs#xff0c;相关的安装配置就不另外写…前言
最近由于工作需要要部署一套ozone。我自己对hadoop这套体系不是很熟悉所以过程磕磕碰碰好不容易勉强搭起来所以记录一下部署方式 准备
三台主机主机均已安装jdk、hdfs相关的安装配置就不另外写了网上很多教程。
本次安装部署版本为当前最新的ozone-1.3.0版 部署步骤 1、ozone官网下载安装包ozone有多种安装方式docker、二进制包、源码编译等。这里用二进制包安装方式。下载地址Apache Ozone。这里下载了1.3.0版。ozone-1.3.0.tar.gz 2、上传到服务器 部分服务器没有szrz命令的可以通过scp命令进行复制 scp ozone-1.3.0.tar.gz usernameremote_ip:~/ 解压 tar zxvf ozone-1.3.0.tar.gz 3、生成配置文件 进入ozone目录 cd ozone 生成配置文件ozone-site.xml到etc/hadoop目录下 bin/ozone genconf etc/hadoop PS如果生成配置文件前/etc/hadoop已存在ozone-site.xml则先行删除。 4、规划各机器职责并完成配置文件的配置 规划ozone的Ozone ManagerOM、Storage Container ManagerSCM、Datanodes服务分别部署在哪些机器上。假设在a主机上启动OM、SCM服务a、b、c上启动Datanodes服务。 在a、b、c主机上创建元数据存储文件夹 mkdir -p 自定义目录/ozonedata/meta 在a、b、c主机上分别创建数据存储文件夹 mkdir -p 自定义目录/ozonedata/data 配置etc/hadoop/ozone-site.xml ?xml version1.0 encodingUTF-8 standaloneyes?
configurationpropertynameozone.om.address/namevalueA主机ip/valuetagOM, REQUIRED/tag/propertypropertynameozone.metadata.dirs/namevalue用户目录/ozonedata/meta/valuetagOZONE, OM, SCM, CONTAINER, STORAGE, REQUIRED/tag/propertypropertynameozone.scm.client.address/namevalueA主机ip:9860/valuetagOZONE, SCM, REQUIRED/tag/propertypropertynameozone.scm.names/namevalueA主机ip/valuetagOZONE, REQUIRED/tag/propertypropertynameozone.scm.datanode.id.dir/namevalue用户目录/ozonedata/data/value/propertypropertynameozone.enabled/namevaluetrue/value/propertypropertynameozone.scm.datanode.id/namevalue用户目录/ozonedata/data/datanode.id/value/property
/configuration 配置etc/hadoop/core-site.xml configurationpropertynamefs.AbstractFileSystem.o3fs.impl/namevalueorg.apache.hadoop.fs.ozone.OzFs/value/propertypropertynamefs.defaultFS/namevalueo3fs://bucket.volume/value/property
/configuration 在A主机上启动OM、SCM和datanode 到ozone-1.3.0/bin目录下执行 ./ozone --daemon start scm
./ozone --daemon start om
./ozone --daemon start datanode 在B、C主机下启动datanode 到ozone-1.3.0/bin目录下执行 ./ozone --daemon start datanode 可以到ozone-1.3.0/logs目录下查看是否启动成功。由于datanode使用ratis协议所以至少要部署3个节点否则写入数据的时候会报 INTERNAL_ERROR Allocated 0 blocks. Requested 1 blocks 验证 尝试创建一个卷volume ./ozone sh volume create volume 在卷下面创建一个桶bucket ./ozone sh bucket create volume/bucket 在桶下面往key写入一个文件 ./ozone sh key put volume/bucket/mykey1 用户目录/ozone-1.3.0/etc/hadoop/ozone-site.xml 之后通过查看桶下面的key以及myKey1下的文件内容验证是否写入成功 ./ozone sh key ls volume/bucket
./ozone sh key cat volume/bucket/mykey1 小结 本文主要介绍了ozone的基本部署。ozone还有很多高可用、安全性等等的配置值得深入研究因为笔者还没有需要使用所以暂时没有去研究有兴趣的读者也可以参考官网文档https://ozone.apache.org/docs/1.3.0/zh/index.html
