建站行业span分析武汉网站建设优化
Windows下安装Sqoop
- 一、Sqoop简介
- 二、Sqoop安装
- 2.1、Sqoop官网下载
- 2.2、Sqoop网盘下载
- 2.3、Sqoop安装（以version：1.4.7为例）
- 2.3.1、解压安装包到 D:\bigdata\sqoop\1.4.7 目录
- 2.3.2、新增环境变量 SQOOP_HOME
- 2.3.3、环境变量 Path 添加 %SQOOP_HOME%\bin
- 2.3.4、验证 Sqoop 是否安装成功：sqoop version
- 2.3.5、问题处理（找不到或无法加载主类 org.apache.sqoop.Sqoop）
- 2.3.5.1、找不到或无法加载主类 org.apache.sqoop.Sqoop 问题处理
- 2.3.5.1.1、下载 sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz
- 2.3.5.1.1.1、官网下载
- 2.3.5.1.1.2、网盘下载
- 2.3.5.1.2、解压 sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz
- 2.3.5.1.3、把 sqoop-1.4.6.jar 文件拷贝到 D:\bigdata\sqoop\1.4.7\lib 目录中
- 2.3.6、重新验证 Sqoop 是否安装成功：sqoop version
一、Sqoop简介
1.1、Sqoop是什么
Sqoop是一个用于Hadoop和结构化数据存储（如关系型数据库）之间进行高效传输大批量数据的工具。
它包括以下两个方面：
1.1.1、可以使用Sqoop将数据从关系型数据库管理系统(如MySql)导入到Hadoop系统(如HDFS、Hive、HBase)中。
1.1.2、将数据从Hadoop系统中抽取并导出到关系型数据库(如MySql)。
1.2、底层实现原理
Sqoop的核心设计思想是利用MapReduce加快数据传输速度。也就是说Sqoop的导入和导出功能是通过基于Map Task（只有map）的MapReduce作业实现的。所以它是一种批处理方式进行数据传输，难以实现实时的数据进行导入和导出。
1.3、特点
优点：它可以将跨平台的数据进行整合。
缺点：它不是很灵活。
1.4、Sqoop的重要的几个关键词
import ：从关系型数据库到Hadoop
export ：从Hadoop到关系型数据库。
1.5、主要执行操作
Mysql-->HDFS:import
Mysql-->Hive:import
Mysql-->HBase:import
HDFS-->Mysql:export
Hive-->Mysql:export
二、Sqoop安装
本篇以 version：1.4.7 为例来演示Sqoop的安装步骤。
2.1、Sqoop官网下载
官网下载地址：http://archive.apache.org/dist/sqoop/
下载：sqoop-1.4.7.tar.gz 这个文件
2.2、Sqoop网盘下载
或者网盘下载：https://pan.baidu.com/s/1hL9ZuBxCxynRt-WCs6m6lQ?pwd=yyds
下载：sqoop-1.4.7.tar.gz 这个文件
2.3、Sqoop安装（以version：1.4.7为例）
2.3.1、解压安装包到 D:\bigdata\sqoop\1.4.7 目录
解压 sqoop-1.4.7.tar.gz 到 D:\bigdata\sqoop\1.4.7
2.3.2、新增环境变量 SQOOP_HOME
2.3.3、环境变量 Path 添加 %SQOOP_HOME%\bin
2.3.4、验证 Sqoop 是否安装成功：sqoop version
管理员权限打开cmd命令窗口。输入：
sqoop version
发现报错：找不到或无法加载主类 org.apache.sqoop.Sqoop
2.3.5、问题处理（找不到或无法加载主类 org.apache.sqoop.Sqoop）
2.3.5.1、找不到或无法加载主类 org.apache.sqoop.Sqoop 问题处理
解决办法：下载 sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz
2.3.5.1.1、下载 sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz
2.3.5.1.1.1、官网下载
sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz 下载地址：http://archive.apache.org/dist/sqoop/1.4.6/sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz
2.3.5.1.1.2、网盘下载
sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz 网盘下载：https://pan.baidu.com/s/1Pb-esaxv2Rj9CwfqOwm9tA?pwd=yyds
2.3.5.1.2、解压 sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz
解压 sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz：
可以看到解压目录中有：sqoop-1.4.6.jar ， 这个文件
2.3.5.1.3、把 sqoop-1.4.6.jar 文件拷贝到 D:\bigdata\sqoop\1.4.7\lib 目录中
将解压后的 sqoop-1.4.6.jar 文件拷贝到 D:\bigdata\sqoop\1.4.7\lib
2.3.6、重新验证 Sqoop 是否安装成功：sqoop version
至此，Windows下安装Sqoop，安装成功！