苏州网站建设培训,湖北建设工程造价协会网站,为什么百度没有收录我的网站,wordpress支持python吗目录
一、基本概念
(一)什么是Hive
(二)优势和特点
(三)Hive元数据管理
二、Hive环境搭建
1.自动安装脚本
2./opt/soft/hive312/conf目录下创建hive配置文件hive-site.xml
3.拷贝一个jar包到hive下面的lib目录下
4.删除hive的guava#xff0c;拷贝hadoop下的guava
5…目录
一、基本概念
(一)什么是Hive
(二)优势和特点
(三)Hive元数据管理
二、Hive环境搭建
1.自动安装脚本
2./opt/soft/hive312/conf目录下创建hive配置文件hive-site.xml
3.拷贝一个jar包到hive下面的lib目录下
4.删除hive的guava拷贝hadoop下的guava
5.重启环境变量
6.启动hadoop服务
7.启动历史服务器
8.Hive初始化数据到mysql中 一、基本概念
(一)什么是Hive Hive是基于Hadooop的数据仓库解决方案将结构化的数据文件映射为数据库表Hive提供类sql的查询语言HQL(Hive Query Language)Hive让更多的人使用Hadoop。
Hive官网https://hive.apache.org/
(二)优势和特点 提供了一个简单的优化模型HQL类SQL语法简化MR开发支持在不同的计算框架上运行支持在HDFS和HBase上临时查询数据支持用户自定义函数、格式常用于ETL操作和BI稳定可靠(真是生产环境)的批处理有庞大活跃的社区MapReduce执行效率更快Hive开发效率更快(三)Hive元数据管理 记录数据仓库中模型的定义、各层级间的映射关系 Hive存储在关系数据库中默认的Hive默认数据库是Derby轻量级内嵌SQL数据库Derby非常适合测试和演示存储在.metastore_db目录中实际生产一般存储在MySql中修改配置文件hive-site.xml。 HCatalog将Hive元数据共享给其他应用程序。 hive的数据存储在hdfs上Hive的select语句交给mapreduce来操作减少写mapreduce的操作。 二、Hive环境搭建
1.自动安装脚本
(解压、修改文件名、配置环境变量)
#! /bin/bash
echo auto install begining...# global var
hivetrueif [ $hive true ];thenecho hive install set trueecho setup apache-hive-3.1.2-bin.tar.gztar -zxf /opt/install/apache-hive-3.1.2-bin.tar.gz -C /opt/soft/mv /opt/soft/apache-hive-3.1.2-bin /opt/soft/hive312sed -i 73a\export PATH$PATH:$HIVE_HOME/bin /etc/profilesed -i 73a\export HIVE_HOME/opt/soft/hive312 /etc/profilesed -i 73a\# HIVE_HOME /etc/profileecho setup hive success!!!
fi2./opt/soft/hive312/conf目录下创建hive配置文件hive-site.xml
?xml version1.0 encodingUTF-8 standaloneno?
?xml-stylesheet typetext/xsl hrefconfiguration.xsl?
configuration
propertynamehive.metastore.warehouse.dir/namevalue/opt/soft/hive312/warehouse/valuedescription/description
/property
propertynamehive.metastore.db.type/namevaluemysql/valuedescription/description
/property
propertynamejavax.jdo.option.ConnectionURL/namevaluejdbc:mysql://192.168.180.141:3306/hive147?createDatabaseIfNotExisttrue/valuedescription/description
/property
propertynamejavax.jdo.option.ConnectionDriverName/namevaluecom.mysql.cj.jdbc.Driver/valuedescription/description
/property
propertynamejavax.jdo.option.ConnectionUserName/namevalueroot/valuedescription/description
/property
propertynamejavax.jdo.option.ConnectionPassword/namevalueroot/valuedescription/description
/property
propertynamehive.metastore.schema.verification/namevaluefalse/valuedescription关闭schema验证/description
/property
propertynamehive.cli.print.current.db/namevaluetrue/valuedescription提示当前数据库名/description
/property
propertynamehive.cli.print.header/namevaluetrue/valuedescription查询输出时带列名一起输出/description
/property
/configuration
3.拷贝一个jar包到hive下面的lib目录下 4.删除hive的guava拷贝hadoop下的guava
[rootlxm147 lib]# ls ./ | grep mysql-connector-java-8.0.29.jar
mysql-connector-java-8.0.29.jar[rootlxm147 lib]# ls ./ | grep guava-19.0.jar
guava-19.0.jar[rootlxm147 lib]# rm -f ./guava-19.0.jar [rootlxm147 lib]# ls ./ | grep guava-19.0.jar [rootlxm147 lib]# find /opt/soft/hadoop313/ -name guava*
/opt/soft/hadoop313/share/hadoop/common/lib/guava-27.0-jre.jar
/opt/soft/hadoop313/share/hadoop/hdfs/lib/guava-27.0-jre.jar[rootlxm147 lib]# cp /opt/soft/hadoop313/share/hadoop/common/lib/guava-27.0-jre.jar ./[rootlxm147 lib]# ls ./ | grep guava-27.0-jre.jar
guava-27.0-jre.jar5.重启环境变量
source /etc/profile
6.启动hadoop服务
start-dfs.sh
start-yarn.sh
7.启动历史服务器
[rootlxm147 hive312]# mr-jobhistory-daemon.sh start historyserver8.Hive初始化数据到mysql中
[rootlxm147 hive312]# schematool -dbType mysql -initSchema 如果初始化出现错误需要将mysql数据库中的hive147删除然后hive再重新初始化
