什么网站做禽苗的多,wordpress美化li标签,网站开发资金,技术支持 东莞网站建设家装历史数据迁移
线上库数据增长迅速#xff0c;需要定期清理历史数据#xff0c;因为异地灾备#xff0c;但是带宽很小#xff0c;不能使用数据泵直接往历史库导数#xff0c;会导致本地机房到灾备机房的带宽被占满#xff0c;调研过flink、golden gate、datax#xff0c…历史数据迁移
线上库数据增长迅速需要定期清理历史数据因为异地灾备但是带宽很小不能使用数据泵直接往历史库导数会导致本地机房到灾备机房的带宽被占满调研过flink、golden gate、datax根据需求及配置复杂度选用了datax
创建DBLINK
在目标库创建DBLINK目标端数据库需要高版本
create public database link quickpay
connect to kpay identified by Pay_2019
using (DESCRIPTION (ADDRESS_LIST (ADDRESS (PROTOCOL TCP) (HOST 10.10.2.210) (PORT 1521)))(CONNECT_DATA (SERVICE_NAME paydb)));迁移元数据
通过DBLINK迁移元数据到目标库
impdp \ / as sysdba\ directorydir1 network_link pay tableskpay.PAYMENTSIGN11 remap_schemapay:pay2 remap_tablespacepay:pay2 CONTENTMETADATA_ONLY锁定表
将表锁定确保数据不会变化
alter table kpay.PAYMENTSIGN11 read only;配置datax
在异地有灾备机房带宽较小需要限制同步速度
安装部署
下载 https://datax-opensource.oss-cn-hangzhou.aliyuncs.com/202309/datax.tar.gz 快速入门 https://github.com/alibaba/DataX/blob/master/userGuid.md 如果觉得数据包太大可以将不需要的plugin清理掉 datax/plugin/writer/目录下仅保留了oraclewriter datax/plugin/reader/目录下仅保留了oraclereader
datax限速
设置传输速度将文件PAYMENTSIGN11.json放置到datax下面的job目录
{job: {setting: {speed: {//设置传输速度 byte/s 尽量逼近这个速度但是不高于它.// channel 表示通道数量byte表示通道速度如果单通道速度1MB配置byte为1048576表示一个channelbyte: 1048576,channel: 4},},content: [{reader: {name: oraclereader,parameter: {// 数据库连接用户名username: root,// 数据库连接密码password: root,column: [//读取指定字段如果不需要指定字段用符号*id,name,],//切分主键通过该字段分片处理table配合channel使用splitPk: db_id,connection: [{table: [user],jdbcUrl: [jdbc:oracle:thin:[HOST_NAME]:PORT/[DATABASE_NAME]]}]}},//写入部分脚本writer: {name: oraclewriter,parameter: {//数据库用户名密码username: root,password: root,//写入数据库的对应字段如果不需要指定字段用符号*column: [*],connection: [{jdbcUrl: jdbc:oracle:thin:10.127.0.1:1521/orcl,//指定写入tabletable: [user]}]}}}]}
}报错
在有总bps限速条件下单个channel的bps值不能为空也不能为非正数
com.alibaba.datax.common.exception.DataXException: Code:[Framework-03], Description:[DataX引擎配置错误该问题通常是由于DataX安装错误引起请联系您的运维解决 .]. - 在有总bps限速条件下单个channel的bps值不能为空也不能为非正数
at com.alibaba.datax.common.exception.DataXException.asDataXException(DataXException.java:26) ~[datax-common-0.0.1-SNAPSHOT.jar:na]
at修改文件datax/conf/core.json core - transport - channel - speed - “byte”: 2000000将单个channel的大小改为2MB即可
core: {dataXServer: {address: http://localhost:7001/api,timeout: 10000,reportDataxLog: false,reportPerfLog: false},transport: {channel: {class: com.alibaba.datax.core.transport.channel.memory.MemoryChannel,speed: {byte: 2000000,record: -1},flowControlInterval: 20,capacity: 512,byteCapacity: 67108864},exchanger: {class: com.alibaba.datax.core.plugin.BufferedRecordExchanger,bufferSize: 32}},
}开始复制
cd datax
python ./bin/datax.py ./job/PAYMENTSIGN11.json参考文章 https://blog.csdn.net/weixin_42418589/article/details/126019261
