微网站购物网站百度seo网站优化服务
基本知识
-
hive元数据存储
Hive 元数据存储了关于表、分区、列、分桶等信息。
在生产环境中，通常会将 Hive 的元数据存储在外部的关系型数据库中，如 MySQL 或 PostgreSQL。这样可以提供更好的性能、可扩展性和容错性。通过配置 Hive 的元数据存储为 MySQL 或 PostgreSQL，可以使用这些数据库的特性来提高元数据的管理和性能。
-
hive 内部表和外部表的区别
| 区别 | 内部表 | 外部表 |
|---|---|---|
| 数据管理 | 由Hive管理，删除表时会删除关联的数据文件 | 数据由用户管理，删除表时只删除元数据，不影响底层数据文件 |
| 数据位置 | 存储在Hive Warehouse目录下的指定子目录中 | 存储在用户指定的位置，可以是HDFS上的任何目录 |
| 数据持久性 | 数据是持久的，删除表时会删除关联的数据文件 | 数据是非持久的，删除表时只删除元数据，不影响底层数据文件 |
| 数据恢复 | 如果数据文件丢失，可以通过Hive的恢复机制恢复数据 | 数据文件丢失需要用户自行负责恢复数据 |
内部表建表语句
CREATE TABLE internal_table (id INT,name STRING,age INT
)
ST