长沙网站设计公司哪家好,深圳品牌营销型网站建设,恺英网络公司现状,dw 做网站图片之间的链接一、目的
由于kettle的任务需要用到Hadoop#xff08;HDFS#xff09;#xff0c;所以就要连接Hadoop服务。
之前使用的是kettle9.3#xff0c;由于在kettle新官网以及博客百度等渠道实在找不到shims的驱动包#xff0c;无奈换成了kettle9.2#xff0c;kettle9.2的安装…一、目的
由于kettle的任务需要用到HadoopHDFS所以就要连接Hadoop服务。
之前使用的是kettle9.3由于在kettle新官网以及博客百度等渠道实在找不到shims的驱动包无奈换成了kettle9.2kettle9.2的安装包里自带了shims的驱动包不需要额外下载挺好 二、各工具版本
一kettle9.2.0
kettle9.2.0安装包网盘链接请看鄙人拙作
http://t.csdn.cn/VccRxhttp://t.csdn.cn/VccRx里面有目前我有的各种kettle安装包网盘链接
二Hadoop3.1.3
三、前提
kettle9.2已经成功连接Hive3.1.2即已复制Hadoop和Hive的配置文件 注意如果kettle中还需要使用HBase那配置文件还需要加上 hbase-site.xml
四、连接步骤
一开启kettle服务右击Hadoop clusters选择Add driver 二点击Browse到data-integration\ADDITIONAL-FILES\drivers文件夹下选择与自己Hadoop匹配驱动包 三选好驱动包后点击Next 四之后kettle就成功导入驱动包点击close关闭 五Add driver导入后需要重新启动kettle不然可能看不到Driver信息
六重启kettle服务后右击Hadoop clusters选择New driver或者修改已有Edit clusters
第一步填写Cluster name
第二步选择Driver
第三步添加hive和Hadoop5个配置文件如需要hbase则要拉取hbase-site.xml
第四步配置HDFS信息注意hostname与Hadoop配置文件core-site.xml里填的一模一样
第五步其他配不配都行、根据自己需要。然后点击Next 第六步点击View test result查看具体详情 第七步可以看到HadoopHDFS可以正常连接点击close关闭 七在kettle的Hadoop file output控件里打开或者创建Hadoop cluster
1、配置Hadoop cluster信息
注意选择Vendor shim为hdp30
注意hostname与Hadoop配置文件core-site.xml里填的一模一样 2、点击测试一下 五、运行从MySQL到HDFS 的kettle任务 到这里kettle9.2就成功连接Hadoop3.1.3HDFS了如果需要相关安装包请到我的博客里获取网盘链接。
乐于奉献共享帮助你我他
