
Sqoop
你家宝宝
自2018年接触到Java,至今。
展开
-
淘宝双11大数据分析(Hive 分析篇-下)
文章目录前言当前环境创建一个临时表将 user_log 表中的数据插入到 inner_user_log使用 Sqoop 迁移数据MySQL 中的准备导入数据MySQL 中查看数据是否已经导入前言本篇主要是数据迁移,使用 Sqoop 把 Hive 中的数据迁移到 MySQL 中。阅读此篇文章,需要先阅读前篇:淘宝双11大数据分析(环境篇)淘宝双11大数据分析(数据准备篇)淘宝双11大数...原创 2020-02-26 14:59:50 · 3407 阅读 · 9 评论 -
淘宝双11大数据分析(环境篇)
案例分析前言通过本案例,你可以:熟悉在 Linux 系统中安装 Hadoop 集群、安装 Mysql 数据库,安装 Sqoop 数据迁移工具,安装 Spark ,安装 Hive 数据仓库。在 HDFS 分布式文件系统中创建文件夹、上传文件。在 Hive 中建立表,使用 Hive 对 HDFS 中的文件进行操作,使用 HQL 进行业务查询。使用 Sqoop 将 Hive 中的数据迁移到...原创 2020-02-26 10:35:14 · 7983 阅读 · 4 评论 -
Linux 安装 Sqoop (并连接 mysql 测试)
文章目录环境描述下载与解压更改配置 sqoop-env.sh解压之后修改sqoop-env.sh配置环境变量拷贝 mysql 驱动启动mysql查看 sqoop 版本用mysql 进行测试环境描述软件版本操作系统CentOS 7sqoop1.4.6hadoop2.7.7mysql5.7.26下载与解压sqoop下载地址使用命令:tar -...原创 2020-02-25 19:20:40 · 2173 阅读 · 0 评论