怎么才能打开一些网站,微信开发品牌,建筑八大员,织梦门户网站模板#x1f4d1; DataX和dataX-web 集群部署及使用
一 . 安装前准备
DataX 是一个异构数据源离线同步工具#xff0c;致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。
DataX 采用 框架 插件 的模式… DataX和dataX-web 集群部署及使用
一 . 安装前准备
DataX 是一个异构数据源离线同步工具致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。
DataX 采用 框架 插件 的模式
插件只需关心数据的读取或者写入本身同步时的共性问题如 类型转换性能统计 由框架来处理
开发插件时 只需要关注两个问题:
数据源本身读写的数据正确性如何与框架沟通合理正确地使用框架
逻辑执行模型
Job是DataX描述一个源头到一个目的端的同步作业是DataX数据同步的最小业务单元。如将一张mysql表同步到odps一个表的分区Task是Job拆分得到的最小执行单元。如在同步一张1024哥分表的mysql分库分表的Job时就可拆分成1024个读Task并发执行TaskGroup一组Task集合在同一个TaskGroupContainer执行下的Task集合JobContainerJob执行器负责job全局拆分调度前置语句和后置语句等工作的工作单元。类似Yarn中的JobTracker 调度Job的每一个子任务task运行于TaskTracker上TaskGroupContainerTaskGroup的执行器负责一组Task的工作单元。类似Yarn中的TaskTrackerTaskTracker主动与JobTracker通信接收作业并负责直接执行每一个任务。
框架为插件提供物理上的执行能力线程。框架有三种运行模式
Standalone单线程运行没有外部依赖Local单线程运行统计信息错误信息汇报到集中存储Distributed分布式多线程运行依赖 DataX Service 服务
当 JobContainer和TaskGroupContainer 运行在同一个进程内时就是单机模式Standalone和local当他们分布在不同的进程中执行就是分布式distributed
datax-web 集群部署时单独起某一个功能 ./bin/start.sh -m datax-executor
datax二次开发
datax源码学习
datax二次开发打包
dataX、dataX-web安装部署 dataX集群模式
二 . 配置datax和datax-web
1 安装dataX
使用源码自定义打包
链接 datax 源码 mvn -U clean package assembly:assembly -Dmaven.test.skiptrue路径在 /target/datax/datax/ 下面
(需要python环境及maven环境)
#测试命令
python bin/datax.py job/job.json ps.如果是自己新增插件 需要修改项目中的 package.xml 、pom.xml 2 安装datax-web
https://github.com/WeiYe-Jing/datax-web/blob/master/doc/datax-web/datax-web-deploy.md
https://github.com/WeiYe-Jing/datax-web/blob/master/userGuid.md
datax-web集群部署 一个datax-web和多个datax-executor。确认datax安装的路径都是一样
启动datax-executor命令
./bin/stop.sh -m datax-executor通过 module 下的 bin 下的日志能查到日志文件 1、通过界面的执行器管理能查到 2、data-web使用
data-web 的任务构建是负责自动生成dataX用的json文件如果已经有json文件 就不需要使用。
3、data-web简要使用
新建项目管理 查看执行器管理 新建 任务管理 执行任务、查看日志 4、报错小记
在读mysql报错
在jdbc url增加配置 在没有服务器身份验证的情况下建立SSL连接\设置useSSLfalse来显式禁用SSL
jdbc:mysql://hostname:port/tsp-cloud?useSSLfalseuseUnicodetruecharacterEncodingutf8rl增加配置 在没有服务器身份验证的情况下建立SSL连接\设置useSSLfalse来显式禁用SSL
jdbc:mysql://hostname:port/tsp-cloud?useSSLfalseuseUnicodetruecharacterEncodingutf8
