帆了个帆的专栏

初始化azkaban数据库时报这个错误，这个错误在初始化hive元数据时也会出现，老忘记，记录下解决办法 set global innodb_large_prefix=1; 索引长度超过了767就会报这个错误，默认情况下mysql索引前缀长度限制为767字节，开启长索引前缀后限制为3072字节 ...

目前有个功能需要将mysql中的数据同步到数仓（hdfs，kudu或者其他存储）中去，如果离线的方式可以考虑sqoop，spark，缺点就是延时比较高，可能一个小时，或者一天；数据一致性很难得到保证，mysql中的数据经常会变（当然你可以设置一个周期，例如按天同步的话，每次同步都同步过去一个月或者更长周期的数据） 现在的需求是需要数仓中的和mysql中的数据保持在秒级别的一致；目前的思路就是实时...