图书馆网站信息化建设,网站流量狂刷器,免费网站流量统计,定制软件开发Hive是分布式运行的框架还是单机运行的#xff1f;
Hive是单机工具#xff0c;只需要部署在一台服务器即可。
Hive虽然是单机的#xff0c;但是它可以提交分布式运行的MapReduce程序运行。
我们知道Hive是单机工具后#xff0c;就需要准备一台服务器供Hive使用即可。
同…Hive是分布式运行的框架还是单机运行的
Hive是单机工具只需要部署在一台服务器即可。
Hive虽然是单机的但是它可以提交分布式运行的MapReduce程序运行。
我们知道Hive是单机工具后就需要准备一台服务器供Hive使用即可。
同时Hive需要使用元数据服务即需要提供一个关系型数据库我们也选择一台服务器安装关系型数据库即可。
所以 服务 机器 Hive本体 部署在node1 元数据服务所需的关系型数据库课程选择最为流行的MySQL 部署在node1
为了简单起见都安装到node1服务器上。
一、安装MySQL数据库
我们在node1节点使用yum在线安装MySQL5.7版本。
CentOS 7 已于 2024 年 6 月 30 日结束生命周期官方镜像源mirrorlist.centos.org已关闭因此无法解析域名。
解决方案
1、备份现有 Yum 配置
sudo mv /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.backup
2、创建新的 Yum 配置文件
sudo nano /etc/yum.repos.d/CentOS-Base.repo
3、将以下内容复制到文件中使用阿里云镜像源
[base]
nameCentOS-$releasever - Base - mirrors.aliyun.com
failovermethodpriority
baseurlhttps://mirrors.aliyun.com/centos/$releasever/os/$basearch/
gpgcheck1
gpgkeyhttps://mirrors.aliyun.com/centos/RPM-GPG-KEY-CentOS-7#released updates
[updates]
nameCentOS-$releasever - Updates - mirrors.aliyun.com
failovermethodpriority
baseurlhttps://mirrors.aliyun.com/centos/$releasever/updates/$basearch/
gpgcheck1
gpgkeyhttps://mirrors.aliyun.com/centos/RPM-GPG-KEY-CentOS-7#additional packages that may be useful
[extras]
nameCentOS-$releasever - Extras - mirrors.aliyun.com
failovermethodpriority
baseurlhttps://mirrors.aliyun.com/centos/$releasever/extras/$basearch/
gpgcheck1
gpgkeyhttps://mirrors.aliyun.com/centos/RPM-GPG-KEY-CentOS-7#additional packages that extend functionality of existing packages
[centosplus]
nameCentOS-$releasever - Plus - mirrors.aliyun.com
failovermethodpriority
baseurlhttps://mirrors.aliyun.com/centos/$releasever/centosplus/$basearch/
gpgcheck1
enabled0
gpgkeyhttps://mirrors.aliyun.com/centos/RPM-GPG-KEY-CentOS-7
4、清理 Yum 缓存并重新生成
sudo yum clean all
sudo yum makecache
5、更新系统
sudo yum update
接下来就可以执行如下指令进行下载安装mysql了
# 更新密钥
rpm --import https://repo.mysql.com/RPM-GPG-KEY-mysql-2022# 安装Mysql yum库
rpm -Uvh http://repo.mysql.com//mysql57-community-release-el7-7.noarch.rpm# yum安装Mysql
yum -y install mysql-community-server# 启动Mysql设置开机启动
systemctl start mysqld
systemctl enable mysqld# 检查Mysql服务状态
systemctl status mysqld# 第一次启动mysql会在日志文件中生成root用户的一个随机密码使用下面命令查看该密码
grep temporary password /var/log/mysqld.log# 修改root用户密码
mysql -u root -p -h localhost
Enter password:mysql ALTER USER rootlocalhost IDENTIFIED BY Root!#$;# 如果你想设置简单密码需要降低Mysql的密码安全级别
set global validate_password_policyLOW; # 密码安全级别低
set global validate_password_length4; # 密码长度最低4位即可# 然后就可以用简单密码了课程中使用简单密码为了方便生产中不要这样
ALTER USER rootlocalhost IDENTIFIED BY root;/usr/bin/mysqladmin -u root password rootgrant all privileges on *.* to root% identified by root with grant option;
flush privileges;
二、配置Hadoop
Hive的运行依赖于HadoopHDFS、MapReduce、YARN都依赖
同时涉及到HDFS文件系统的访问所以需要配置Hadoop的代理用户
即设置hadoop用户允许代理模拟其它用户
配置如下内容在Hadoop的core-site.xml文件中并分发到其它节点且重启HDFS集群
# 编辑
vim core-site.xml# 修改core-site.xml文件
propertynamehadoop.proxyuser.hadoop.hosts/namevalue*/value
/property
propertynamehadoop.proxyuser.hadoop.groups/namevalue*/value
/property
三、下载解压Hive
切换到hadoop用户
su - hadoop
下载Hive安装包路径 http://archive.apache.org/dist/hive/hive-3.1.3/apache-hive-3.1.3-bin.tar.gz
或者从网盘资料中获取安装包链接: https://pan.baidu.com/s/1vTQWQLmZ8JHUqs5Us5FcFQ?pwdzgzs 提取码: zgzs
解压到node1服务器的/export/server/内
tar -zxvf apache-hive-3.1.3-bin.tar.gz -C /export/server/
设置软连接
ln -s /export/server/apache-hive-3.1.3-bin /export/server/hive
四、提供MySQL Driver包
下载MySQL驱动包
https://repo1.maven.org/maven2/mysql/mysql-connector-java/5.1.34/mysql-connector-java-5.1.34.jar
或者从上述网盘资料中获取安装包
将下载好的驱动jar包放入Hive安装文件夹的lib目录内
mv mysql-connector-java-5.1.34.jar /export/server/hive/lib/
五、配置Hive
在Hive的conf目录内新建hive-env.sh文件
# 在Hive的conf目录内新建hive-env.sh文件
vim hive-env.sh# 填入以下环境变量内容
export HADOOP_HOME/export/server/hadoop
export HIVE_CONF_DIR/export/server/hive/conf
export HIVE_AUX_JARS_PATH/export/server/hive/lib在Hive的conf目录内新建hive-site.xml文件
# 在Hive的conf目录内新建hive-site.xml文件
vim hive-site.xml# 填入以下内容
configurationpropertynamejavax.jdo.option.ConnectionURL/namevaluejdbc:mysql://node1:3306/hive?createDatabaseIfNotExisttrueamp;useSSLfalseamp;useUnicodetrueamp;characterEncodingUTF-8/value/propertypropertynamejavax.jdo.option.ConnectionDriverName/namevaluecom.mysql.jdbc.Driver/value/propertypropertynamejavax.jdo.option.ConnectionUserName/namevalueroot/value/propertypropertynamejavax.jdo.option.ConnectionPassword/namevalue123456/value/propertypropertynamehive.server2.thrift.bind.host/namevaluenode1/value/propertypropertynamehive.metastore.uris/namevaluethrift://node1:9083/value/propertypropertynamehive.metastore.event.db.notification.api.auth/namevaluefalse/value/property
/configuration六、初始化元数据库
至此Hive的配置已经完成现在在启动Hive前需要先初始化Hive所需的元数据库。 在MySQL中新建数据库hive
CREATE DATABASE hive CHARSET UTF8;
执行元数据库初始化命令
cd /export/server/hivebin/schematool -initSchema -dbType mysql -verbos
# 初始化成功后会在MySQL的hive库中新建74张元数据管理的表。
七、启动Hive使用Hadoop用户
确保Hive文件夹所属为hadoop用户
创建一个hive的日志文件夹
mkdir /export/server/hive/logs
启动元数据管理服务必须启动否则无法工作 前台启动
bin/hive --service metastore 或者后台启动
nohup bin/hive --service metastore logs/metastore.log 21
启动客户端二选一 Hive Shell方式可以直接写SQL
bin/hive Hive ThriftServer方式不可直接写SQL需要外部客户端链接使用
bin/hive --service hiveserver2八、补充HiveServer2服务
在启动Hive的时候除了必备的Metastore服务外我们前面提过有2种方式使用Hive 方式1 bin/hive 即Hive的Shell客户端可以直接写SQL 方式2 bin/hive --service hiveserver2 后台执行脚本
nohup bin/hive --service hiveserver2 logs/hiveserver2.log 21
bin/hive --service metastore启动的是元数据管理服务 bin/hive --service hiveserver2启动的是HiveServer2服务 HiveServer2是Hive内置的一个ThriftServer服务提供Thrift端口供其它客户端链接 可以连接ThriftServer的客户端有 Hive内置的 beeline客户端工具命令行工具 第三方的图形化SQL工具如DataGrip、DBeaver、Navicat等
Hive的客户端体系如下 启动
在hive安装的服务器上首先启动metastore服务然后启动hiveserver2服务。
#先启动metastore服务 然后启动hiveserver2服务
nohup bin/hive --service metastore logs/metastore.log 21
nohup bin/hive --service hiveserver2 logs/hiveserver2.log 21 beeline
在node1上使用beeline客户端进行连接访问。需要注意hiveserver2服务启动之后需要稍等一会才可以对外提供服务。 Beeline是JDBC的客户端通过JDBC协议和Hiveserver2服务进行通信协议的地址是jdbc:hive2://node1:10000
[rootnode1 ~]# /export/server/hive/bin/beeline
Beeline version 3.1.2 by Apache Hive
beeline ! connect jdbc:hive2://node1:10000
Connecting to jdbc:hive2://node1:10000
Enter username for jdbc:hive2://node1:10000: root
Enter password for jdbc:hive2://node1:10000:
Connected to: Apache Hive (version 3.1.2)
Driver: Hive JDBC (version 3.1.2)
Transaction isolation: TRANSACTION_REPEATABLE_READ
0: jdbc:hive2://node1:10000 后续可以在beeline中进行数据库相关操作了。
