html5 珠宝网站,论坛类的网站怎么做,做煤层气的网站,凡科网站设计点一下关注吧#xff01;#xff01;#xff01;非常感谢#xff01;#xff01;持续更新#xff01;#xff01;#xff01;
Java篇开始了#xff01;
目前开始更新 MyBatis#xff0c;一起深入浅出#xff01;
目前已经更新到了#xff1a;
Hadoop#xff0…点一下关注吧非常感谢持续更新
Java篇开始了
目前开始更新 MyBatis一起深入浅出
目前已经更新到了
Hadoop已更完HDFS已更完MapReduce已更完Hive已更完Flume已更完Sqoop已更完Zookeeper已更完HBase已更完Redis 已更完Kafka已更完Spark已更完Flink已更完ClickHouse已更完Kudu已更完Druid已更完Kylin已更完Elasticsearch已更完DataX已更完Tez已更完数据挖掘已更完Prometheus已更完Grafana已更完离线数仓正在更新…
章节内容
Atlas 数据仓库元数据管理数据血缘关系 元数据 上节进度
上节我们完成到了 对 Atlas 的源码编译下面我们正式的进行安装。
数据仓库元数据管理
元数据MetaData狭义的解释是用来描述数据的数据。广义来看除了业务逻辑直接读写处理的那些业务数据所有其他用来维持整个系统运转所需的信息、数据都可以叫做元数据如数据库中表的Schema信息任务的血缘关系用户和脚本、任务的权限映射关系信息等。
管理元数据的目的是为了让用户能够更高效的使用数据也是为了平台管理人员能更加有效的做好数据的维护管理工作。 但通常这些元数据信息是散落在平台的各个系统各种流程中它们的管理也可能或多或少可以通过各种子系统自身的工具方案或者流程逻辑来实现。 元数据管理平台很重要的一个功能就是信息的收集至于收集哪些信息取决于业务的需求和需要解决的目标问题。 元数据管理平台还需要考虑如何恰当的形式对这些元数据信息进行展示进一步的如何将这些元数据信息通过服务的形式提供给周边上下游系统来使用真正帮助大数据平台完成质量管理的闭环工作。 应该收集那些信息没有绝对的标准但是对大数据开发平台来说常见的元数据元数据信息包括
表结构信息数据的空间存储读写记录权限归属和其他各类统计信息数据的血缘关系信息数据的业务属性信息
Atlas
正式安装
cd /opt/software/apache-atlas-sources-1.2.0/distro/target# 解压缩
tar zxvf apache-atlas-1.2.0-bin.tar.gzmv apache-atlas-1.2.0/ /opt/servers/atlas-1.2.0过程结果如下所示
环境变量
# 修改 /etc/profile设置环境变量 ATLAS_HOME
vim /etc/profile# atlas
export ATLAS_HOME/opt/servers/atlas-1.2.0
export PATH$PATH:ATLAS_HOME/bin配置的结果如下所示
启动服务
刷新环境变量之后启动服务
cd $ATLAS_HOME/bin
./atlas_start.py执行结果如下图所示
查看进程
ps -ef | grep atlas可以看到进程有
停止服务
cd $ATLAS_HOME/bin
./atlas_stop.py检查Solr
cd /opt/servers/atlas-1.2.0/solr/bin
./solr statusSolr process 25038 running on port 9838执行结果如下图所示
访问项目
http://h122.wzk.icu:21000打开的页面如下所示 登录账号密码都是 admin
Hive血缘导入
拷贝配置
将 $ATLAS_HOME/conf/atlas-application.properties 拷贝到 $HIVE_HOME/conf 目录下
ln -s $ATLAS_HOME/conf/atlas-application.properties $HIVE_HOME/conf/atlas-application.properties拷贝Jar包
ln -s $ATLAS_HOME/server/webapp/atlas/WEB-INF/lib/jackson-jaxrs-base-2.9.9.jar $ATLAS_HOME/hook/hive/atlas-hive-plugin-impl/jackson-jaxrs-base-2.9.9.jarln -s $ATLAS_HOME/server/webapp/atlas/WEB-INF/lib/jackson-jaxrs-json-provider-2.9.9.jar $ATLAS_HOME/hook/hive/atlas-hive-plugin-impl/jackson-jaxrs-json-provider-2.9.9.jarln -s $ATLAS_HOME/server/webapp/atlas/WEB-INF/lib/jackson-module-jaxb-annotations-2.9.9.jar $ATLAS_HOME/hook/hive/atlas-hive-plugin-impl/jackson-module-jaxb-annotations-2.9.9.jar执行结果如下所示
修改Hive
vim $HIVE_HOME/conf/hive-site.xml增加hook
propertynamehive.exec.post.hooks/namevalueorg.apache.atlas.hive.hook.HiveHook/value
/property写入内容如下所示 在 $HIVE_HOME/conf/hive-env.sh中添加HIVE_AUX_JARS_PATH变量
# 之前没弄过
mv $HIVE_HOME/conf/hive-env.sh.template $HIVE_HOME/conf/hive-env.sh
vim $HIVE_HOME/conf/hive-env.sh写入内容如下
export HIVE_AUX_JARS_PATH/opt/servers/atlas-1.2.0/hook/hive对应结果如下所示
批量导入
我们需要Hive可以正常启动在执行过程中要输入admin/admin账号密码
# 控制台执行 hive
sh /opt/servers/atlas-1.2.0/bin/import-hive.sh执行后需要输入账号密码 成功导出之后我们可以看到控制台输出了内容
访问结果
打开刚才项目Search中的选项有新的变化
http://h122.wzk.icu:21000对应结果如下图所示 Hive Hook 可以捕获如下的操作
create databasecreate table/view, create table as selectload, import, exportDMLs(insert)alter databasealter tablealter view
最终的血缘关系
