`
侯上校
  • 浏览: 216903 次
  • 性别: Icon_minigender_1
  • 来自: 上海
社区版块
存档分类
最新评论

sqoop导出到mysql数据库

 
阅读更多

sqoop:000> create job --xid 1 --type export
Creating job for connection with id 1
Please fill following values to create new job object
Name: export_emp

Database configuration

Schema name: schools
Table name: emp
Table SQL statement:
Table column names:
Stage table name:
Clear stage table:

Input configuration

Input directory: /opt/hadoop/mysql/emp

Throttling resources

Extractors:
Loaders:
New job was successfully created with validation status FINE  and persistent id 4
sqoop:000> show job
+----+-------------+--------+-----------+---------+
| Id |    Name     |  Type  | Connector | Enabled |
+----+-------------+--------+-----------+---------+
| 1  | mysqlImport | IMPORT | 1         | true    |
| 2  | emp_dept    | IMPORT | 1         | true    |
| 3  | testExport  | EXPORT | 1         | true    |
| 4  | export_emp  | EXPORT | 1         | true    |
+----+-------------+--------+-----------+---------+
sqoop:000> start job --jid 4
Submission details
Job ID: 4
Server URL: http://hadoopMaster:12000/sqoop/
Created by: hadoop
Creation date: 2014-05-30 12:58:53 CST
Lastly updated by: hadoop
External ID: job_local1529531301_0004
    http://localhost:8080/
2014-05-30 12:58:53 CST: BOOTING  - Progress is not available

 

 

mysql> select * from emp;
+----+-----------+
| id | name      |
+----+-----------+
|  1 | Dennis-1  |
|  2 | Dennis-2  |
|  3 | Dennis-3  |
|  4 | Dennis-4  |
|  5 | Dennis-5  |
|  6 | Dennis-6  |
|  7 | Dennis-7  |
|  8 | Dennis-8  |
|  9 | Dennis-9  |
| 10 | Dennis-10 |
| 11 | Dennis-11 |
| 12 | Dennis-12 |
| 13 | Dennis-13 |
| 14 | Dennis-14 |
| 15 | Dennis-15 |
| 16 | Dennis-16 |
| 17 | Dennis-17 |
| 18 | Dennis-18 |
| 19 | Dennis-19 |
| 20 | Dennis-20 |
+----+-----------+
20 rows in set (0.00 sec)

分享到:
评论

相关推荐

    2、sqoop导入(RMDB-mysql、sybase到HDFS-hive)

    2、sqoop导入(RMDB-mysql、sybase到HDFS-hive) 网址:https://blog.csdn.net/chenwewi520feng/article/details/130572275 介绍sqoop从关系型数据库mysql、sybase同步到hdfs、hive中

    3、Sqoop导出(HDFS到RMDB-mysql)

    3、Sqoop导出(HDFS到RMDB-mysql) 网址:https://blog.csdn.net/chenwewi520feng/article/details/130573318 介绍通过sqoop将hdfs数据同步到关系型数据库mysql中

    sqoop安装详解以及sqoop介绍

    sqoop安装详解以及sqoop内容介绍使用介绍 集群介绍 sqoop:是一个工具,主要用于导入导出,实现MySQL到Hadoop之间数据的转换 2、导入数据:从结构化数据...3、导出数据:从haoop中将数据导出到关系数据库中MySql

    大数据开发中的Sqoop学习笔记(自己整理版).pdf

    从hdfs导出到mysql;从hive导出到mysql; Sqoop中的Job任务使用;使用Job任务实现增量导入;从mysql导入hdfs可以指定在hdfs上存储格式等等内容。 希望对有需要的朋友有所帮助,如有疑问,可以私信;整理不易,多多...

    sqoop工具_202006041735481.docx

    同时也可以把数据从 Hadoop 系统里抽取并导出到关系型数据库里。除了这些主要的功能 外,Sqoop 也提供了一些诸如查看数据库表等实用的小工具。理论上,Sqoop 支持任何一款支持 JDBC 规范的数据库,如 DB2、MySQL 等...

    大数据运维技术第9章 Sqoop组件安装配置.pptx

    它用于从关系数据库(如MySQL,Oracle)导入数据到Hadoop HDFS,并从Hadoop文件系统导出到关系数据库。Sqoop由Apache软件基金会提供。;9.2 Sqoop功能应用;9.2.1 Sqoop架构;;;;9.2.2 Sqoop导入原理; JDBC的ResultSet...

    sqoop官方文档学习笔记

    Sqoop是一个用于在Hadoop和关系...您可以使用Sqoop将关系数据库管理系统(RDBMS)(如MySQL或Oracle或大型机)中的数据导入Hadoop分布式文件系统(HDFS),转换Hadoop MapReduce中的数据,然后将数据导出回RDBMS 。

    大数据-sqoop.pptx

    环境软件准备: 1:Centos 6.8虚拟机 2:含有导入数据的Mysql数据库 3:Sqoop 安装包 下载地址: https://mirrors.cnnic.cn/apache/sqoop/ Sqoop安装 大数据-sqoop全文共16页,当前为第8页。 配置环境变量加入Sqoop...

    java连接sqoop源码-sqoop-example:sqoop-示例

    java连接sqoop源码Sqoop-服务 Sqoop scala 驱动程序,带有 mysql 元存储、光滑的数据库和喷雾。 Sqoop 是一个很好的工具,用于在 HDFS 中导入和导出数据。 大多数 sqoop 作业都是通过脚本编写的,这对于临时作业来说...

    Apache Hadoop---Sqoop.docx

    Sqoop可以将一个关系型数据库(例如MySQL、Oracle、PostgreSQL等)中的数据导入Hadoop的HDFS、Hive中,也可以将HDFS、Hive中的数据导入关系型数据库中。Sqoop充分利用了Hadoop的优点,整个数据导入导出过程都是用...

    Sqoop同步数据命令

    可以使用Sqoop将数据从MySQL或Oracle等关系数据库管理系统(RDBMS)导入Hadoop分布式文件系统(HDFS),在Hadoop MapReduce中转换数据,然后将数据导出回RDBMS,在不使用ETL工具情况下使用sqoop是迁移数据的一个方案...

    java连接sqoop源码-movie-recommendation-system:电影推荐系统

    数据导出到 mysql)以及 mapreduce。 按照以下步骤运行应用程序: 1:将文件 ratings.csv 复制到 HDFS 目录。 该文件是 mapreduce job_1 的输入。 您可以提供任何目录结构,但相应地修改 MRSDriver.java 文件中 ...

    【63课时完整版】大数据实践HIVE详解及实战

    36.案例分析-指标分析使用Sqoop导出 第4章:Hive复杂用户行为案例分析及优化 37.自动批量加载数据到hive 38.Hive表批量加载数据的脚本实现(一) 39.Hive表批量加载数据的脚本实现(二) 40.HIve中的case when、...

    spark大作业.zip

    4、熟悉在不同类型数据库之间进行数据相互导入导出; 5、熟悉使用R语言进行可视化分析; 6、熟悉使用Eclipse或IntelliJ Idea编写Java程序操作HBase数据库 要求 1、对文本文件形式的原始数据集进行预处理 2、把文本...

    sqoop-service

    Sqoop scala 驱动程序,带有 mysql 元存储、光滑的数据库和喷雾。 Sqoop 是一个很好的工具,用于在 HDFS 中导入和导出数据。 大多数 sqoop 作业都是通过脚本编写的,这对于临时作业来说是可以的,但是当您想要自动...

    hadoop笔记

    sqoop : 将 hdfs 文件系统的文件 ,导出到 linux 文件系统的文件中 ,就像 "豌豆荚" 应用程序 ,实现 android 系统和 windows 系统之间的导入和导出 7. ooize/azkaban : 一个完整的业务 ( work ) 是由多个任务 ( task...

    Increment_Backup_To_Hive:一个增量备份关系数据库(MySQL, PostgreSQL, SQL Server, SQLite, Oracle等)到hive的php脚本工具

    Increment_Backup_To_Hive一个增量备份关系数据库(MySQL, PostgreSQL, SQL Server, SQLite, Oracle等)到hive的php脚本工具原理由于sqoop可定制性太差,本工具针对增量备份场景,备份某张表时只需要用户填写几个关键...

    现代物流大数据分析大作业《网站用户行为分析》

    此案列涉及了数据预处理、存储、查询和可视化分析等数据处理,涉及了各种关于数据处理的操作,其中涵盖了关于Linux、MySQL、Hadoop、HBase、Hive、Sqoop、R、Eclipse等系统和软件的安装和使用方法,是一个综合实践...

    Zomato-API-数据分析

    Zomato-API-数据分析 目标:大数据是推动技术发展趋势的简写,这为了解世界和制定决策的新... 使用Sqoop,我们将数据导出到HDFS中,并使用HiveQL进行了分析。 对于数据可视化,我们使用了“ Tableau”软件。 对于第二

    Hadoop硬实战 [(美)霍姆斯著][电子工业出版社][2015.01]_PDF电子书下载 带书签目录 高清完整版.rar )

    技术点5 使用Sqoop 从MySQL 导入数据 2.2.4 HBase 技术点6 HBase 导入HDFS 技术点7 将HBase 作为MapReduce 的数据源 2.3 将数据导出Hadoop 2.3.1 将数据导入本地文件系统 技术点8 自动复制HDFS 中的...

Global site tag (gtag.js) - Google Analytics