weixin_43793061的博客

sqoop是大数据架构中常用的数据导入导出组件之一，只要简单的设置一些参数就可以将数据库的数据快速导入数据仓库中。 但在实际使用过程中，常常会碰到一些问题，导致从数据库导入到数据仓库发生数据丢失的问题，以下将发生数据丢失的情况分为三种类型： 一、工具使用者使用不善导致的 sqoop数据导入过程为：将mysql数据导入到hdfs文件路径，然后再从该hdfs文件路径load到hive表中。所以需要用户...

在公司里，有很多历史的jar包可能都是通过eclipse进行创建打包的，没有使用maven进行依赖的管理，在后期需要对这些jar进行修改重新打包的时候，很容易出现各种问题导致工程报错无法正常打包。经过了好几天的努力，小编摸索了一整套好用的流程如下。 一、反编译jar包 1.在jar包所在的路径下，“shift+右键”->“在此处打开shell窗口”进入shell窗口； 2.在shell窗口中...

一、报错信息： 如果在hadoop单机模式下运行自定义分区会报如下错： 19/07/14 18:34:51 WARN mapred.LocalJobRunner: job_local1245405054_0001 java.lang.Exception: java.io.IOException: Illegal partition for 3 0 1 2017-07-31 23:20:12 837...

最近想将自己linux系统上的mysql5.5改为mysql5.7版本，发现网上资料很多，但没有一个从卸载到重新安装设置完成的操作手册，所以特意整理汇总了一下。 自己就是按照以下的步骤，重新安装了mysq5.7版本，供大家参考。 第一步 Linux系统上mysql彻底卸载 详情参见：https://www.cnblogs.com/nicknailo/articles/8563456.html 第二...