博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
spark学习3(sqoop1.4.6安装)
阅读量:6167 次
发布时间:2019-06-21

本文共 1619 字,大约阅读时间需要 5 分钟。

sqoop目前有两个版本sqoop1和sqoop2,这里安装的是sqoop1版本

1)将软件上传到spark1节点

2)修改权限

[root@spark1 sqoop]# chmod u+x sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz

3)解压安装

[root@spark1 sqoop]# tar -zxvf sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz

4)重命名

[root@spark1 sqoop]# mv sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz sqoop-1.4

5)配置环境变量

[root@spark1 sqoop]# vi /etc/profileexport SQOOP_HOME=/usr/sqoop/sqoop-1.4export PATH=$PATH:$SQOOP_HOME/binexport LOGDIR=$SQOOP_HOME/logs #一定要加上这个

6)使环境变量生效并验证是否配置成功

[root@spark1 sqoop-1.4]# source /etc/profile[root@spark1 sqoop-1.4]# which sqoop

7)修改配置文件 sqoop-env.sh

[root@spark1 conf]# mv sqoop-env-template.sh sqoop-env.sh#重命名[root@spark1 conf]# vi sqoop-env.sh#Set path to where bin/hadoop is availableexport HADOOP_COMMON_HOME=/usr/hadoop/hadoop-2.6.0#Set path to where hadoop-*-core.jar is availableexport HADOOP_MAPRED_HOME=/usr/hadoop/hadoop-2.6.0#Set the path to where bin/hive is availableexport HIVE_HOME=/usr/hive/hive-1.2暂时没安装hbase和zookeeper就不修改了

8)将所需要的mysql驱动包拷贝到Sqoop/lib下

#先在网上下载驱动包mysql-connector-java-5.1.10.jar[root@spark1 sqoop]# cp mysql-connector-java-5.1.10.jar /usr/sqoop/sqoop-1.4/lib

9)测试sqoop

显示mysql下所有数据库[root@spark1 sqoop]# sqoop list-databases --connect jdbc:mysql://spark1:3306 --username root查看mysql wujiadong数据库中的表[root@spark1 ~]# sqoop list-tables --connect jdbc:mysql://spark1:3306/wujiadong -username root注释1)因为暂时没安装hbase和zookeeper,没修改sqoop中的配置文件内容,运行时出现警示,不过问题不大。2)命令sqoop list-databases --connect jdbc:mysql://spark1:3306 --username root --password xxx中username和password使mysql的用户名和密码,我因为没去设置mysql的密码,所以直接无密码登录

761429-20161115201429263-1105837186.png

761429-20161123164957393-1756990821.png

转载于:https://www.cnblogs.com/wujiadong2014/p/6067119.html

你可能感兴趣的文章
Subversion版本控制
查看>>
奇怪的打印纸盘故障
查看>>
hyperledger v1.0.5 区块链运维入门(一)
查看>>
Mybatis-mapper-xml-基础
查看>>
5. GC 调优(基础篇) - GC参考手册
查看>>
Windows 7 XP 模式颜色质量只有16位的解决
查看>>
SonicWall如何安全模式升级防火墙
查看>>
Linux IPC实践(3) --具名FIFO
查看>>
从Atlas到Microsoft ASP.NET AJAX(6) - Networking, Application Services
查看>>
成长之路---写好一个类
查看>>
读取 java.nio.ByteBuffer 中的字符串(String) 写入方式flash.utils.ByteArray.writeUTF
查看>>
范围管理和范围蔓延
查看>>
android90 bind方式启动服务service调用service里的方法
查看>>
前端开发薪资之各地区对比(图文分析)(share)
查看>>
对做“互联网产品”的一些想法
查看>>
SPI协议及其工作原理浅析【转】
查看>>
原生js编写的安全色拾色器
查看>>
iOS:VFL语言
查看>>
让时间处理简单化 【第三方扩展类库org.apache.commons.lang.time】
查看>>
用scikit-learn学习DBSCAN聚类
查看>>