大数据
关注
分享
扫一扫
爱吃虾的鱼
实践是检验真理的唯一标准，坚持是你走向实践最便捷的途径！
展开
-
ETL工具Sqoop的入门学习(二）之eval语句使用以及import的增量导入。
ETL工具Sqoop的入门学习(二）目录回顾1，eval语句-查询数据插入数据2，import的增量导入将数据增量从MySQL导入HDFS回顾对于sqoop将MySQL某一张表的全量导入hdfs上和hdfs上的数据全量导出到MySQL中的某一张表可查看这里ETL工具Sqoop的入门学习(一）对数据来源感兴趣的伙伴可以参考这篇博客python 爬取应届生求职网中的求职信息并存入MySQL数据...原创 2020-05-08 15:24:46 · 1458 阅读 · 0 评论 -
Java API 实现对分布式文件系统（HDFS)的常用命令操作！
Java API 实现对分布式文件系统（HDFS)的常用命令操作！目录运行环境1.hdfs的目录下的文件及其目录查看2.hdfs的目录创建3.hdfs的目录删除or文件删除4.hdfs文件上传，本地到hdfs5.hdfs文件下载，hdfs到本地6.将本地的数据剪切到hdfs7.将hdfs上的数据剪切到本地运行环境创建maven工程进行的java代码编写，需要引入hadoop-client依赖...原创 2020-05-04 17:36:39 · 1484 阅读 · 0 评论 -
Hadoop MapReduce 求公司部门员工工资总和案例实现！
Hadoop MapReduce 求公司部门员工工资总和案例实现！原创 2020-04-26 19:34:21 · 3920 阅读 · 0 评论 -
Hadoop MapReduce WordCount案例实现！
MapReduce的WordCount实现原创 2020-04-25 16:45:05 · 513 阅读 · 1 评论 -
ETL工具Sqoop的入门学习(一）
ETL工具Sqoop的入门学习（一）目录1.Sqoop的定义2.Sqoop的产生背景简介3.Sqoop原理4.几个Sqoop常用的命令使用4.1 环境的介绍4.2 常用命令的使用list-databases，list-tables，import，export1.Sqoop的定义Sqoop是一款开源的ETL工具，其主要用户将Hadoop与关系型数据库之间的数据传递。可以将关系型数据库中的数据传递...原创 2020-04-24 11:29:02 · 904 阅读 · 1 评论