SunWuKong_Hadoop的博客

经过这么几天的折腾，发现 Sqoop1 真的比 Sqoop2 方便好用的多，Sqoop2 坑真是太多了，搞不定。Sqoop1 坑少也稳定，但是零基础使用过程中也是有几点需要注意的。官方下载：Sqoop 官网官方使用文档Sqoop-1.4.6安装部署及详细使用介绍如果像我一样直接用CDH里边自带的话，方便的地方是环境变量什么的不需要我再去配置了，很方便。要检查安装成功没，直接sqo...

随着互联网时代的发展，运营商作为内容传送的管道服务商，在数据领域具有巨大的优势，如何将这些数据转化为价值，越来越被运营商所重视。运营商的大数据具有体量大，种类多的特点，如各类话单、信令等，通常一种话单每天的数据量就有上百亿条。随着业务分析需求对数据处理实时性的要求越来越高，也给我们的大数据处理架构带来了巨大的挑战，参照网络上可查的例子，运用到实际处理架构上，经常会因为实时数据流量大，造成系统运行不...

一、什么是SqoopSqoop是一个在结构化数据和Hadoop之间进行批量数据迁移的工具，结构化数据可以是Mysql、Oracle等RDBMS。Sqoop底层用MapReduce程序实现抽取、转换、加载，MapReduce天生的特性保证了并行化和高容错率，而且相比Kettle等传统ETL工具，任务跑在Hadoop集群上，减少了ETL服务器资源的使用情况。在特定场景下，抽取过程会有很大的性能提升...

sqoop通俗讲就是支持将mysql，oracle等关系型数据库数据导入到hdfs中的工具。用的是mapreduce这种计算模式，只要在一台服务器上安装，整个服务器集群都能开启服务。例子1：项目需求：mysql——＞hdfs ——＞hive       其中mysql数据到hdfs就是由sqoop完成，hdfs数据导入到hive则是通过在hive中建表，通过load....overwr...

静态分区:在hive中创建表可以使用hql脚本：test.hqlUSE TEST;CREATE TABLE page_view(viewTime INT, userid BIGINT, page_url STRING, referrer_url STRING, ip STRING COMMENT 'IP Address of the User') COMMEN...

问题一：导入的列有换行符等其他字符如何解决在使用sqoop将数据从oracle导入hive时，对数据进行验证，发现hive中的数据比oracle的多，然后发现多出来的数据严重错位，大量字段为null怀疑是某些字段含有了hive默认的分隔符，如“\n”，“\r”，“\01”解决办法是增加参数--hive-drop-import-delims来解决Hive will have prob...

# 变量设置，之后应该是传入参数mdb='kaipao'hdb='zhengyuan'table='water_friend_rel'check_col='create_time'ds='2019-04-22'# 1.判断hive中是否有分区表hive -e "show columns from ${hdb}.${table}_di" |grep -v 'WARN:' &g...