博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
sqoop导出数据|Hive|HDFS和脚本编写
阅读量:5157 次
发布时间:2019-06-13

本文共 771 字,大约阅读时间需要 2 分钟。

导出数据

在Sqoop中,“导出”概念指:从大数据集群(HDFS,HIVE,HBASE)向非大数据集群(RDBMS)中传输数据,叫做:导出,即使用export关键字。

HIVE/HDFS到RDBMS

$ bin/sqoop export \--connect jdbc:mysql://hadoop102:3306/company \--username root \--password 000000 \--table staff \--num-mappers 1 \--export-dir /user/hive/warehouse/staff_hive \--input-fields-terminated-by "\t"

提示:Mysql中如果表不存在,不会自动创建

脚本打包

使用opt格式的文件打包sqoop命令,然后执行

1) 创建一个.opt文件

$ mkdir opt$ touch opt/job_HDFS2RDBMS.opt

2) 编写sqoop脚本

$ vi opt/job_HDFS2RDBMS.opt

export--connect jdbc:mysql://hadoop102:3306/company--username root--password 000000--table staff--num-mappers 1--export-dir /user/hive/warehouse/staff_hive--input-fields-terminated-by "\t"

3执行该脚本

$ bin/sqoop --options-file opt/job_HDFS2RDBMS.opt

  

转载于:https://www.cnblogs.com/alexzhang92/p/10927709.html

你可能感兴趣的文章
Docker容器学习与分享02
查看>>
561. Array Partition I
查看>>
Json序列化之.NET开源类库Newtonsoft.Json
查看>>
xml序列化及反序列化.net对象
查看>>
需要我们了解的SQL Server阻塞原因与解决方法
查看>>
customize Vimium
查看>>
Chemistry
查看>>
mysql的Event 及 时间 操作
查看>>
virtual、abstract、interface区别以及用法
查看>>
visual studio 容器工具首次加载太慢 vsdbg\vs2017u5 exists, deleting 的解决方案
查看>>
学习yii2.0框架阅读代码(五)
查看>>
552. Student Attendance Record II
查看>>
Sublime Text 3 常用插件以及安装方法(转)
查看>>
洛谷 U6254 最低费用
查看>>
安卓学习第20课——progressBar
查看>>
初涉GitHub
查看>>
C# WebForm 使用NPOI 2 生成简单的word文档(.docx)
查看>>
vim中文手册,gcc中文手册,gdb中文手册打包赠送
查看>>
MVC和传统的以模板为中心的web架构比较
查看>>
python之路_django路由配置及模板
查看>>