导入数据

Sqoop导入数据

在使用BMR添加作业之前，用户需要将被分析的数据上传到BOS中，具体操作请参考BOS上传Object。

您可通过Sqoop把关系型数据库RDS中的数据导入到BOS、HDFS、HBase或Hive中。具体操作如下：

从RDS关系型数据库导入数据至BOS中

1. 通过SSH连接到主节点，请参考SSH连接到集群。
2. 输入命令：su hdfs。切换到HDFS用户。

3. 执行以下格式的命令： sqoop import --connect jdbc:mysql://address:port/db_name --table table_name --username XX --password XX --target-dir XX

   示例：sqoop import --connect jdbc:mysql://mysql56.rdsmiy5q77jfaqp.rds.bj.baidubce.com:3306/sqoop --table test --username sqoop --password sqoop_123 --target-dir bos://abc/sqooptest

4. 执行后，可至BOS中查看执行结果。BOS上查看执行结果的示例如下：

从RDS关系型数据库导入数据至HDFS中

1. 执行从RDS关系型数据库导入数据至BOS中的步骤1至2。

2. 执行以下格式的命令： sqoop import --connect jdbc:mysql://address:port/db_name --table table_name --username XX --password XX --target-dir XX

   示例：sqoop import --connect jdbc:mysql://mysql56.rdsmiy5q77jfaqp.rds.bj.baidubce.com:3306/sqoop --table test --username sqoop --password sqoop_123 --target-dir /user/hdfs/sqooptest

3. 执行后，可至HDFS中查看执行结果。

从RDS关系型数据库导入数据至HBase中

1. 通过SSH连接到主节点，请参考SSH连接到集群。
2. 输入命令：su hdfs。切换到HDFS用户。

3. Sqoop导入数据到HBase有两种情况:

   • 导入数据到HBase已经存在的表中，执行以下格式的命令： sqoop import --connect jdbc:mysql://address:port/db_name --table table_name --username XX --password XX --hbase-table hbase_table_name --column-family hbase_column_family --hbase-row-key row_key。 示例： sqoop import --connect jdbc:mysql://mysql56.rdsmiy5q77jfaqp.rds.bj.baidubce.com:3306/sqoop --table test --username sqoop --password sqoop_123 --hbase-table sqoop_hbase -- column-family message1 --habse-row-key id。
   • 导入数据到Hbase中不存在的表中，执行以下格式的命令： sqoop import --connect jdbc:mysql://address:port/db_name --table table_name --username XX --password XX --hbase-table hbase_table_name --column-family hbase_column_family --hbase-row-key row_key --hbase-create-table。 示例： sqoop import --connect jdbc:mysql://mysql56.rdsmiy5q77jfaqp.rds.bj.baidubce.com:3306/sqoop --table test --username sqoop --password sqoop_123 --hbase-table sqoop_hbase -- column-family message1 --habse-row-key id --hbase-create-table。

4. 执行后，可至HBase中查看执行结果，执行结果示例如下:

   Plain Text 复制

   1hbase(main):003:0>scan "sqoop_hbase"
   2ROW		COLUMN+CELL
   3 1		column=message1:address,timestamp=1439794756361,value=shanghai
   4 1		column=message1:favor,timestamp=1439794756361,value=lanqiu
   5 1		column=message1:name,timestamp=1439794756361,value=xiaoming
   6 1		column=message1:sex,timestamp=1439794756361,value=1
   7 1		column=message1:address,timestamp=1439794756361,value=beijing
   8 1		column=message1:favor,timestamp=1439794756361,value=pingpong
   9 1		column=message1:name,timestamp=1439794756361,value=xiaohong
   10 1		column=message1:sex,timestamp=1439794756361,value=2

从RDS关系型数据库导入数据至Hive中

1. 通过SSH连接到主节点，请参考SSH连接到集群。
2. 输入命令：su hdfs。切换到HDFS用户。

3. Sqoop导入数据到Hive有三种情况:

   • Hive中不存在与关系型数据库RDS同名的数据表，执行以下格式的命令： sqoop import --connect jdbc:mysql://address:port/db_name --table table_name --username XX --password XX --hive-import 示例： sqoop import --connect jdbc:mysql://mysql56.rdsmiy5q77jfaqp.rds.bj.baidubce.com:3306/sqoop --table test --username sqoop --password sqoop_123 --hive-import
   • 默认情况下，sqoop会将hive中的表名设定为导入数据的数据表名，如不想使用默认表名，使用--hive-table指定新数据表，执行以下格式的命令： sqoop import --connect jdbc:mysql://address:port/db_name --table table_name --username XX --password XX --hive-import --hive-table XX 示例： sqoop import --connect jdbc:mysql://mysql56.rdsmiy5q77jfaqp.rds.bj.baidubce.com:3306/sqoop --table test --username sqoop --password sqoop_123 --hive-import --hive-table sqoop_hive
   • Hive中存在与关系型数据库RDS同名的数据表，需要通过--hive-table指定数据表，并且加上--hive-overwrite参数，执行以下格式的命令： sqoop import --connect jdbc:mysql://address:port/db_name --table table_name --username XX --password XX --hive-import --hive-table XX --hive-overwrite 使用RDS数据库中的另一张表test_export，指定hive中已经存在的表sqoop_hive，示例： sqoop import --connect jdbc:mysql://mysql56.rdsmiy5q77jfaqp.rds.bj.baidubce.com:3306/sqoop --table test_export --username sqoop --password sqoop_123 --hive-import --hive-table sqoop_hive -- hive-overwirte。

4. 执行后，可至Hive中查看执行结果，执行结果示例如下：

   Plain Text 复制

   1hive>select * from test;
   2OK
   31	xiaoming	1	shanghai	lanqiu
   42	xiaohong	2	beijing		pingpong