抄袭别人网站,设计外贸网站,网络营销方式和工具,呼伦贝尔做网站的公司目录 数据传输流程脚本报错和异常说明1. Caused by: java.lang.ClassNotFoundException: org.apache.hadoop.hive.conf.HiveConf2. 数据导入hive后显示NULL 数据传输流程
mysql----hdfs----hive 数据从mysql表中取出#xff0c;放到hdfs上#xff08;由targ… 目录 数据传输流程脚本报错和异常说明1. Caused by: java.lang.ClassNotFoundException: org.apache.hadoop.hive.conf.HiveConf2. 数据导入hive后显示NULL 数据传输流程
mysql----hdfs----hive 数据从mysql表中取出放到hdfs上由target-dir指定目录所有数据转移完成后将hdfs上传数据到hive表的对于目录下并将该目录删除
脚本
import
--connect
jdbc:mysql://127.0.0.1:3306/sqoop
--username
root
--password
password
--as-textfile
--target-dir
/sqoop/student4
--delete-target-dir
--num-mappers
1
--bindir
/opt/module/sqoop/lib
--table
student
--columns
id,name
--fields-terminated-by
,
--hive-import
--hive-table
student报错和异常说明
1. Caused by: java.lang.ClassNotFoundException: org.apache.hadoop.hive.conf.HiveConf
原因缺少hive的配置文件 解决方案将hive目录下的hive-common-3.1.2.jar移动到sqoop的lib目录下
2. 数据导入hive后显示NULL
原因建hive表是设定的分割符不恰当跟从mysql导入过来的数据的分隔符不一样所以导致hive切分不了数据于是查询为空但是这个过程不属于导入失败所以导入脚本正常运行。 导入流程mysql----hdfs----hive 解决方案 首先检查mysql内部的数据是否正确导入到hdfs中 一般而言mysql中的数据切分是’,’ 检查hdfs中的数据情况执行以下代码 sqoop脚本student
import
--connect
jdbc:mysql://127.0.0.1:3306/sqoop
--username
root
--password
password
--as-textfile
--target-dir
/sqoop/student3
--delete-target-dir
--num-mappers
1
--bindir
/opt/module/sqoop/lib
--table
student
--columns
id,name
--fields-terminated-by
,脚本执行代码
sqoop --options-file sqoop_student.txt检查生成的hdfs文件 hdfs dfs -cat /sqoop/student3/part-m-00000分析 hdfs中数据以’,‘进行分割因此hdfs----hive中也需要设定’,作为分隔符
hive数据库创建 数据库创建脚本 设定’,作为分割符
create table student
(id string,name string
)ROW FORMAT DELIMITED FIELDS TERMINATED BY , STORED AS TEXTFILE;检查数据库情况
show create table student;完整的导入脚本mysql----hdfs----hive
import
--connect
jdbc:mysql://127.0.0.1:3306/sqoop
--username
root
--password
password
--as-textfile
--target-dir
/sqoop/student4
--delete-target-dir
--num-mappers
1
--bindir
/opt/module/sqoop/lib
--table
student
--columns
id,name
--fields-terminated-by
,
--hive-import
--hive-table
student总结 可以修改分隔符为其他的形式’\t’ \001’都可以但是需要保证hdfs和hive中的分隔符统一
