HDFS简单操作与sqoop建表操作

最新推荐文章于 2024-02-18 20:30:28 发布
最新推荐文章于 2024-02-18 20:30:28 发布
阅读量838 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： 数据库 文章标签： hdfs sqoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_29153321/article/details/87202228
本文详细介绍了HDFS文件系统的基本操作，包括目录查看、文件读取及行数统计。同时，提供了使用Flume实时日志收集系统监控日志的方法，并展示了如何通过sqoop工具实现HDFS数据与PostgreSQL数据库之间的同步。此外，还涵盖了FTP基本操作及参数设置，为数据工程师提供全面的数据处理流程指导。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

HDFS操作

目录

sudo -u hdfs hdfs dfs -ls -h /flume_xdr

条数

sudo -u hdfs hdfs dfs -cat /flume_xdr/* | wc -l

数据

hdfs dfs -cat /flume_5min/2018-10-30/15/5min_20181030_16.1540886400001.csv |head -n 100

 

flume接数

tail -F /etc/flume-ng/conf/nohup.out

yarn logs -applicationId application_1540954664082_0090

 

sqoop建表

sqoop list-databases --connect jdbc:postgresql://172.22.13.222:5432/ --username postgres

sqoop list-tables --connect jdbc:postgresql://172.22.13.222:5432/postgres --username postgres

sqoop export --connect "jdbc:postgresql://172.22.13.222:5432/postgres?useUnicode=true&characterEncoding=utf-8" --username postgres  \

--table xdr_table_102223 -m 3 --export-dir /data --update-mode allowinsert --input-fields-terminated-by ',' --input-null-string "\\\\N" --input-null-non-string "\\\\N" 

 

ftp操作

ftp localhost

输入账号密码

cd

ls

get

put

 

参考:

https://blog.youkuaiyun.com/sunshingheavy/article/details/53227581

使用Sqoop实现Mysql到HDFS的数据导入
QYHuiiQ
05-11 3498
查看当前mysql下有哪些库 [root@hadoop01 ~]# sqoop list-databases --connect jdbc:mysql://hadoop03:3306 --username root --password 123456; 查看某个库下的所有表 [root@hadoop01 ~]# sqoop list-tables --connect jdbc:mysql://hadoop03:3306/hive --username root --password 12345.
从零教你如何通过Sqoop把Hadoop HDFS上的数据同步数据到MySQL中（附带数据集，报错提示并修改）
qq_50975494的博客
06-10 2522
Sqoop同步数据到MySQL实验结果
sqoop建表_Sqoop基础教程
weixin_39625305的博客
12-20 323
1,什么是Sqoop?官网定义如下:Apache Sqoop大白话理解:一个用来将数据Hdoop上的数据和结构化存储(数据库数据)实现互相传输的工具另外注意的是,上面文字最后一行,Sqoop1(1.4X)和Sqoop2(1.99X)完全不兼容,生产上建议Sqoop1,Sqoop2有点不稳定2,Sqoop的安装下载好Sqoop之后,我的是Cdh版本,sqoop-1.4.6-cdh5.16.2在Sqo...
根据hdfs文件创建表
qq_23519469的博客
07-12 807
根据hdfs文件创建表
sqoop建表_sqoop使用详解
weixin_33657398的博客
12-30 324
1、sqoop是apache旗下一款“Hadoop和关系数据库服务器之间传送数据”的工具。导入数据：MySQL，Oracle导入数据到Hadoop的HDFS、HIVE、HBASE等数据存储系统；导出数据：从Hadoop的文件系统中导出数据到关系数据库2、将导入或导出命令翻译成mapreduce程序来实现在翻译出的mapreduce中主要是对inputformat和outputformat进行定制3...
sqoop建表_Sqoop学习之路 （一）
weixin_39807954的博客
12-20 443
一、概述sqoop 是 apache 旗下一款“Hadoop 和关系数据库服务器之间传送数据”的工具。核心的功能有两个：导入、迁入导出、迁出导入数据：MySQL，Oracle 导入数据到 Hadoop 的 HDFS、HIVE、HBASE 等数据存储系统导出数据：从 Hadoop 的文件系统中导出数据到关系数据库 mysql 等 Sqoop 的本质还是一个命令行工具，和 HDFS，Hive 相比，并...
sqoop建表_使用Sqoop创建/导入配置单元表
weixin_39620653的博客
12-20 305
当我使用下面的import命令时，它允许我创建表并从mysql导入数据到Hive，我可以在Hive中看到表“小部件” .sqoop import --connect jdbc:mysql://localhost:3306/hadoopguide --table widgets --username --password --split-by id -m 1 --hive-import;但每当我...
Sqoop数据迁移，导入数据至hdfs,hive,hbase,mysql
我玩的很开心的博客
07-23 2357
Sqoop数据迁移一、Sqoop概述二、Sqoop数据迁移1.从RDB(Relational Database)导入数据到HDFS1.1标准方式全部导入表（customers）1.2通过Where语句过滤导入表(orders)1.3通过COLUMNS过滤导入表1.4使用query方式导入数据1.5使用Sqoop增量导入数据2.导入数据到hive3.导入数据到HBase4.hdfs导出到MySQL三、执行Sqoop脚本四、执行Sqoop job任务 一、Sqoop概述 Sqoop是什么？ Sqoop是一个用
sqoop导出 建表_sqoop导出工具
weixin_39626927的博客
12-21 154
sqoop的导出工具是把HDFS上文件中的数据导出到mysql中mysql中的表现在在linux上创建一个文件，并把这个文件上传到hdfs上cat person.txt7,no7,778,no8,88$ hadoop fs-mkdir person_export$ hadoop fs-put -f person.txt person_export$ hadoop fs-ls person_expo...
sqoop导出 建表_Sqoop1和sqoop2导入导出
weixin_39589394的博客
12-21 165
sqoop11、使用Sqoop导入MySQL数据到HDFS[root@srv01 ~]# sqoop import --connect jdbc:mysql://localhost:3306/test --username root --password root --table user --columns 'uid,uname' -m 1 -target-dir '/sqoop/user'; ...
同步自动生成sqoop导入语句
08-08
自动生成oracle或者mysql导入导出的sqoop语句的plsql块
sqoop建表_sqoop 常用命令整理（一）
weixin_34101577的博客
12-30 1186
这些内容是从sqoop的官网整理出来的，是1.4.3版本的Document，如果有错误，希望大家指正。1.使用sqoop导入数据sqoop import --connect jdbc:mysql://localhost/db --username foo --table TEST2.账号密码sqoop import --connect jdbc:mysql://database.example.c...
【最新】解决Github网页上图片显示失败的问题
m0_49448331的博客
12-07 340
转载链接： https://blog.youkuaiyun.com/qq_38232598/article/details/91346392?utm_medium=distribute.pc_relevant_t0.none-task-blog-BlogCommendFromBaidu-1.not_use_machine_learn_pai&depth_1-utm_source=distribute.pc_relevant_t0.none-task-blog-BlogCommendFromBaidu-1.no
sqoop建表_Sqoop 使用详解（内含对官方文档的解析）
weixin_39905695的博客
12-20 403
Sqoop 是 Cloudera 公司创造的一个数据同步工具，现在已经完全开源了。目前已经是 hadoop 生态环境中数据迁移的首选，另外还有 ali 开发的 DataX 属于同类型工具，由于社区的广泛使用和文档的健全，调研之后决定使用 Sqoop 来做我们之后数据同步的工具。我们首先来看下 Sqoop 的工作流他将我们传统的关系型数据库 | 文件型数据库 | 企业数据仓库 同步到我们的 hado...
sqoop批量建表脚本
javaMylife的博客
10-13 417
sqoop create-hive-table 支持只迁移建表语句，但是不支持批量创建，因此写了一个脚本去执行。
使用文件在hadoop上创建表
相信生活
04-09 1543
文章目录创建目录：查看目录：创建外部表： 使用文件在hadoop上创建表： 创建目录： hadoop fs -mkdir /tmp/test/wenda_users 将本地文件上传到目录 hadoop fs -put 本地文件名 HDFS目录名 eg：hadoop fs -put wenda_users.txt /tmp/test/wenda_users 查看目录： hadoop fs -ls /...
Sqoop
liu689118的博客
05-28 539
1 sqoop是Apache 提供的工具，用于hdfs和关系型数据库之间数据的导入和导入 2 可以从hdfs导出数据到关系型数据库，也可以从关系型数据库导入数据到hdfs 解压Sqoop de 安装包 在lib利用指令操作 1 查看mysql所有数据库 sh sqoop list-databases --connect jdbc:mysql://192.168.150.13...
Sqoop 入门基础
小那同学的博客
02-18 1656
Sqoop（SQL to Hadoop）是一个开源工具，用于在关系型数据库和Hadoop之间传输数据。它提供了一种快速高效的方式，将数据从关系型数据库导入到Hadoop集群进行分析，并支持将Hadoop集群中的数据导出到关系型数据库中。本篇教程将详细介绍Sqoop的全部用法，包括基本概念、使用方法和实例代码。我们将创建一个示例数据表，并使用Sqoop来导入和导出数据。
【Sqoop-命令】Sqoop相关了解及命令
weixin_53543905的博客
02-28 1457
sqoop是apache旗下一款Hadoop和关系数据库服务器之间传送数据的工具。简单来说，sqoop就是一款数据导入导出工具。导入：从RDBMS到hadoop生态圈的过程。导出：从hadoop生态圈到RDBMS。底层：将导入导出命令翻译成MR任务，执行在YARN平台上，底层是对MR的输入和输出做了定制化操作。【Sqoop-命令】Sqoop相关了解及命令
sqoop配置导出数据到hdfs
最新发布
05-22
虽然通常情况下，Sqoop 更常用于将数据从 MySQL 或其他 RDBMS 导入到 HDFS 中，但它也可以反向操作，即将 HDFS 上的数据导出到关系型数据库中。 以下是关于如何使用 Sqoop 将数据从 HDFS 导出到 MySQL 的具体配置和...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值