Hive的数据导入mysql

 Hive中创建数据表导入数据:   

-- 创建hive中的数据表
   create table student(
   id      int,
   number  string,
   name    string,
   sex     string            
   );

-- 添加数据到hive中的数据表
insert into student(id,number,name,sex) values(1,'123456789','jack','man')




   

mysql中创建数据表:

 create table student(
   id      int,
   number  varchar(30),
   name    varchar(30),
   sex     varchar(20)            
   );

使用sqoop将hive中的数据同步到mysql

  在sqoop中运行如下:

     bin/sqoop export \ 

   --connect jdbc:mysql://com.hadoop:3306/mydb \

   --username root \

   --password 1234 \

   --table student \

   --fields-terminated-by ','

   --export-dir '/user/hive/warehouse/student'

### 将Hive中的数据导入到MySQL 为了实现从HiveMySQL数据迁移,通常采用两种主要方法之一:通过Sqoop出工具或是借助于中间文件作为桥梁。前者更为直接高效。 #### 使用 Sqoop Hive 数据MySQL 当使用 Sqoop 进行操作时,命令结构如下所示: ```bash sqoop export \ --connect jdbc:mysql://<mysql_host>:<port>/<database> \ --username <user_name> \ -P \ --table <destination_table> \ --export-dir /path/to/hive/data/in/hdfs \ --input-fields-terminated-by '\001' ``` 此命令会连接指定的 MySQL 实例并创建目标表(如果不存在),随后读取 HDFS 中存储路径下的 Hive数据,并按照字段分隔符将其写入 MySQL 的相应表格内[^1]。 对于更复杂的场景,比如需要转换某些列名或调整数据类型,则可以在上述基础上增加 `--map-column-hive` 和其他参数来满足特定需求。 另外值得注意的是,在执行此类任务前应当确保源端 Hive 表已经成功加载所需处理的数据集,并且这些数据位于默认仓库位置或其他可访问的位置上。 #### 利用临时文件间接传输 另一种方式涉及先将 Hive 查询结果保存成外部文件形式,再利用 LOAD DATA INFILE SQL 语句载入 MySQL。具体步骤包括但不限于编写一段 MapReduce 或 Spark 应用来抽取 Hive 记录存盘;接着修改该文件使之符合 CSV 等标准格式以便被关系型数据库识别解析;最后运用批量插入机制完成最终目的[^2]。 然而这种方法相对繁琐一些,除非有特殊原因一般不推荐优先考虑这种方式。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值