前提
Sqoop需要 安装在 hive,hbase的服务器上,linux环境中必须有 java 和 hadoop 环境
规划
根据之前的规划,所以部署在 hadoop1 服务器上
上传
上传到 /program/ 目录
解压缩
cd /program/
tar -zxvf sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz --no-same-owner
改名
名字太长,执行下面命令改名:
mv sqoop-1.4.7.bin__hadoop-2.6.0 sqoop-1.4.7
配置文件
cd sqoop-1.4.7/conf
根据模板复制执行文件
cp sqoop-env-template.sh sqoop-env.sh
编辑该文件
vim sqoop-env.sh
添加下面内容:
export HADOOP_COMMON_HOME=/program/hadoop-3.0.3/
export HADOOP_MAPRED_HOME=/program/hadoop-3.0.3/
export HBASE_HOME=/program/hbase-2.1.9/
export HIVE_HOME=/program/hive-3.1.2/
export ZOOKEEPER_HOME=/program/zookeeper-3.4.14/
export ZOOCFGDIR=/program/zookeeper-3.4.14/
提示:如果没有 hbase、zookeeper,就注销掉
MySQL 驱动
将 MySQL驱动 mysql-connector-java-5.1.47.jar 上传到下面目录:
/program/sqoop-1.4.7/lib/
测试
cd /program/sqoop-1.4.7
查询MySQL数据库命令
sqoop list-databases --connect jdbc:mysql://ip:3306 --username 用户名 --password 密码
例子
bin/sqoop list-databases --connect jdbc:mysql://hadoop1:3306 --username root --password root
执行结果:
information_schema
maxwell
metastore
mysql
performance_schema
scott
sys
yuqing_dws
列出所有数据库名,说明配置连接 MySQL 成功
参考
https://www.jianshu.com/p/ec9003d8918c
https://www.jianshu.com/p/ec9003d8918c