goodstudy168的专栏

今天使用spark对一个dataframe中的数据以某一个为主键做groupby进行求和，数据类似如下：scala> userDF.show+---------+--------+| userid | count |+--------+---------+| 11111111|  102|| 2222222|    97|| 3333333|    10|| 1111111...

今天在spark中需要将字符型(String)的ip转化为长整型（long）的ip，参考了两篇文章https://blog.youkuaiyun.com/cjuexuan/article/details/54912215和https://blog.youkuaiyun.com/key_xyes/article/details/79818196，通过这两篇文章的抽取出思路。于是封装成UDF函数，如下：sqlConte...

最近希望深入研究下kafka的架构，想了解架构必须去阅读其源码。于是自己动手在IDE下构建一个可运行可调试的kafka环境，下面是构建kafka环境及编译源码。一、安装jdkC:\Users\Administrator>java -versionjava version "1.8.0_172"Java(TM) SE Runtime Environment (build 1.8....