国内知名域名注册网站,网站建设费用要多少,网站建设图标合集,网站建设售后在hive-0.8.0后引入了import/export命令。
Export命令可以导出一张表或分区的数据和元数据信息到一个输出位置#xff0c;并且导出数据可以被移动到另一个hadoop集群或hive实例#xff0c;并且可以通过import命令导入数据。
当导出一个分区表#xff0c;原始数据可能在hdf…在hive-0.8.0后引入了import/export命令。
Export命令可以导出一张表或分区的数据和元数据信息到一个输出位置并且导出数据可以被移动到另一个hadoop集群或hive实例并且可以通过import命令导入数据。
当导出一个分区表原始数据可能在hdfs的不同位置export/import命令也支持导出分区表的不同子分区。
导出的元数据存储在目标目录并且数据文件是存储在不同的子目录下。
Export/import命令可以独立工作在使用存储元数据的rdbms中。
一、语法
Export语法 EXPORT TABLE tablename [PARTITION (part_columnvalue[, ...])] TO export_target_path [ FOR replication(eventid) ]
Import语法 IMPORT [[EXTERNAL] TABLE new_or_original_tablename [PARTITION (part_columnvalue[, ...])]] FROM source_path [LOCATION import_target_path]
二、使用复制
Export/import命令当在复制环境中使用时略有不同并且确定使用该工具在两个数据仓库之间使用复制。在大多数情况下用户不需要使用这个附加功能除非手动引导仓库之间的复制这样它可以作为一个增量复制工具。
他们使用一个特殊的表属性“repl.last.id”在一个表或分区对象中确保export/import工具每次复制的数据时最近更新的数据。在导出完成后会对export的dump文件使用一个id打一个复制标签表示在源仓库集成商单调递增的。此外为复制导出打印的标记不会导致错误如果试图导出一个对象但是标记列当前不存在。
在import方面没有语法变化但是import有一个一般性的标签对于复制的dump文件他讲检查要复制的对象是否存在如果对象已经存在它检查对象的repl.last.id属性确定是否导入当前对象的最新数据对于目标仓库如果更新是最新的那么它将复制最新的信息如果更新已经是很旧的了对于已经存在的对象那么更新将被忽略并且不会产生错误。
对于那些使用export进行首次手动引导用例用户推荐使用“引导”标签
三、示例
1、简单导入和导出 export table department to hdfs_exports_location/department; import from hdfs_exports_location/department;
tablename
2、在import时重命名表 export table department to hdfs_exports_location/department; import table imported_dept from hdfs_exports_location/department;
3、导出分区并且导入 export table employee partition (emp_countryin, emp_stateka) to hdfs_exports_location/employee; import from hdfs_exports_location/employee;
tablename?
4、导出表并且导入到分区表分区 export table employee to hdfs_exports_location/employee; import table employee partition (emp_countryus, emp_statetn) from hdfs_exports_location/employee;
5、指定导入位置 export table department to hdfs_exports_location/department; import table department from hdfs_exports_location/department location import_target_location/department;
6、导入作为一个外部表 export table department to hdfs_exports_location/department; import external table department from hdfs_exports_location/department;
