gaoqida的专栏

年底了，做了不少对账和数据统计的业务，用到了不少date format的函数，也踩了一些坑在使用String formatDate = DateUtils.format("2020-12-28", "YYYYMMdd") 时，发现返回了20211228，导致了有一些计算出现了异常，在查了DateFormatPattern 官方解释后发现：YYYY 表示 week based year，表示当天所周所在的年份，每周以周日开始，周六结束yyyy 表示 day based year...

最近才开始接触spark的相关内容，根据老师的需要做一个关于spark streaming的协同过滤推荐。中间也遇到很多问题，也很困扰，希望有大牛能给予指导~一.Userbased Recommdation--spark streaming基于用户的协同过滤推荐 本次试验是使用spark streaming操作基于用户信息的去做的推荐。试验数据1.training.txt

Hue中notebook执行spark Job的流程源码分析

Azkaban调研在作业设计器中，实用哪种作业工作流的引擎是最主要的，现在对Azkaban和Oozie进行调研。一．Azkaban介绍Azkaban是一个类似于Oozie的任务调度系统，它以flow为执行单位进行调度，flow为预定义好的一个或者多个有依赖关系的Job工作流。同时它兼容所有的Hadoop版本，使用Web界面追踪每个任务的执行情况并且提供了邮件的支持。Azkaban主

自定义连接池，链接thriftserver的相关信息

hive 查询关键字总结 各种hive的关键字基本总结和补全设计

以前都是照本宣科，网上怎么写链接mysql 就抄过来。。今天觉得无聊，自己看了看mysql driver的源码类。具体了解下其工作原理：首先class.forname（String className） 这个方法会调用相应的class进行类初始化，一般在java中如果初始化一个类，我们需要对这个类进行实例化，也就是new class()方法。反射也提供这一方式：class.forCla