阿呆的数据经历

1、数据分片 用scala分片每行数据时，遇到最后几个字段为空值，需要用到split函数中的参数arg1 split(arg0:String, arg1:Int) 1、当arg1 > 0时，它限制arg0最多成功匹配arg1.length() -1次，也就是说字符串最多被分成arg1个子串。此时split会保留分割出的空字符串（当两个arg0连续匹配或者arg0在头尾匹配，会产生空字符串

网上很多都有让检查配置文件有没有写错    <property name="jdbcUrl">jdbc:mysql://localhost:3306/test</property>    <property name="driverClass">com.mysql.jdbc.Driver</property>    <property name

由于数据库用于多个部门，每个人都可以对数据库进行增删改查，需要对数据库的操作进行权限限制。 在hue界面创建登录用户hivetest 在hive-site.xml的Hive和HiveServer2高级配置中添加配置 <property> <name>hive.security.authorization.enabled</name> <value&...

在做数据仓库的时候，最关键、最首要的工作就是导数据！ 导数据的时候，最关键、最首要的工作就是数据统一规则！ 1、空数据 2、字符串中空数据 3、脏数据 4、字段名统一 5、字段类型统一 ... 这里要讲的是两个坑： one：第一个坑比较常见，就是第五个统一规则里面出来的，1)mysql的字段类型是tinyint(1) ，在用sqoop导数的时候，连接数据库就要有设置tinyInt...