优秀甜品网站,延庆网站建设,织梦cms可以做淘宝客网站么,创建自由摄影师的网站内容背景
在很多传统方法中#xff0c;数据的传输常依赖于csv格式。为了提高传输效率#xff0c;属于同一张表的多个csv文件往往会被打包成gz文件进行传输。
当gz文件从上游传递到下游后#xff0c;为了将其中的csv数据导入数据库#xff0c;一种直接的做法是#xff1a;
1…背景
在很多传统方法中数据的传输常依赖于csv格式。为了提高传输效率属于同一张表的多个csv文件往往会被打包成gz文件进行传输。
当gz文件从上游传递到下游后为了将其中的csv数据导入数据库一种直接的做法是
1. 在客户机端解压gz文件。
2. 使用local data local infile命令将解压后的csv文件按照通配符一次性全部导入到服务机上的数据库中。
然而这种方法存在一个明显的弊端解压gz文件既耗时又占用额外的存储空间。
有没有办法把 gz 文件直接导入到 OceanBase中呢我们有两种思路 方法一、让 OceanBase 识别 gz 文件支持类似下面的命令
load data local infile /home/xiaochu.yh/foo.gz INTO table test.t1 fields terminated by |;
这个方案在 OceanBase v4.3.3 中支持 方法二、使用 zcat 动态解压至 Unix 管道并通过 /dev/stdin直接导入数据到 OceanBase
zcat foo.gz | mysql -h127.1 -P2828 -u myuser -pmypass -Dtest -e load data local infile /dev/stdin INTO table test.t1 fields terminated by |; 下面的例子中演示了这种方法。将 1.txt 和 2.txt 打包成 foo.gz然后导入到数据库 test.t1 表中效果如下
[xiaochu.yh]cat 1.txt
1|1
1|1
1|1[xiaochu.yh]cat 2.txt
2|2
2|2[xiaochu.yh]gzip -c 1.txt 2.txt foo.gz[xiaochu.yh]mysql -h127.1 -P2828 -u myuser -pmypass -Dtest -e delete from t1;[xiaochu.yh]zcat foo.gz | mysql -h127.1 -P2828 -u myuser -pmypass -Dtest -e load data local infile /dev/stdin INTO table test.t1 fields terminated by |;[xiaochu.yh]mysql -h127.1 -P2828 -u myuser -pmypass -Dtest -e select * from t1;
c1 c2
1 1
1 1
1 1
2 2
2 2
