非洲王子

  mysql  语句  select  count(DISTINCT FORMAT(lon,4),FORMAT(lat,4) ) a,vin,from_unixtime(start_timen,'%Y-%m-%d') FROM car_trip_info_tmp GROUP BY vin,from_unixtime(start_timen,'%Y-%m-%d');   目前统计出 一辆车在...

今天想接着看java源码 hashmap 先把之前看的红黑树给结一下 https://www.cnblogs.com/CarpenterLee/p/5503882.html https://blog.youkuaiyun.com/jy1690229913/article/details/83546134 https://blog.youkuaiyun.com/jy1690229913/article/deta...

https://www.jianshu.com/p/7467e616f227 以此为学习路径 开始了解xgboost https://blog.youkuaiyun.com/laobai1015/article/details/83059178 1.先了解一下什么是分类回归 分类classification 回归 regression 分类模型和回归模型本质一样，分类模型是将回...

看到哪写到哪。针对未来发展，和面试之前的准备。 java 字符串hashcode 哈希码的原理 public int hashCode() { int var1 = this.hash; if (var1 == 0 && this.value.length > 0) { char[] var2 = this...

查看spark源码 sparkSession 在Spark1.6中我们使用的叫Hive on spark，主要是依赖hive生成spark程序，有两个核心组件SQLcontext和HiveContext。 这是Spark 1.x 版本的语法 //set up the spark configuration and create contexts val sparkConf = new ...

在BatteryCareSparkJob中写了一个object TestIntegrateSplit 用于对/user/log/integrate数据进行切分扩列 出现了个问题 无法执行自己定义的任务 日志中有个细节我忽略了，在求array的最大值 array.max的时候 提示empty.max。 经过提示想到，在原始数据中可能存在空行，所以报错。经过修改，加入判断逻辑，判断该array...

代码大全 设计模式 数据结构与算法分析 重构

今天是对算法输出的异常检测程序进行打包测试，将结果输出到mysql的exception_list表中。 spark2-submit \ --jars dependences.jar \ --class "MainApp.MainApp" \ --files settings.properties,threshold.properties \ --driver-memory 15g \ --ex...

今天重新修改了一版charge切片逻辑 NewChargeSlice 是基于原来的charge的注释的一版 package BatteryCareSparkJob.chargeslice import java.text.SimpleDateFormat import java.util.{Date, Properties} import BatteryCareSparkJob.char...

1.在nodepad++中用^ $匹配替换可能失败，换成sublime可能会有奇效。

bin/flume-ng agent -c conf -f /root/flume-bak/conf/flume-test.conf -n a1 -Dflume.root.logger=DEBUG,console

docker run -d -p "3811:3810" -v"/etc/localtime:/etc/localtime" crawler_disease-2018-01-10 暴露端口并让容器时间和本地时间一致

根据20170901---20170903的position数据分析useragent

为了下载ｓｖｎ中的文件，在idea中　ｓｖｎ的checkout误选了整个ideaprojecs文件夹，使得整个文件夹与svn连接,项目变红． 解决办法是http://blog.youkuaiyun.com/wo541075754/article/details/49659597； 今天在csdn上写文章，点击“发表文章” 后，提示“csdn 请选择文章类型”  ，弄了好长时间，才发现，需要选择的是

if [ -z $APP_DIR ]; then export APP_DIR=`pwd` fi export FWD_DIR=`dirname $APP_DIR`/forward 这两段是什么意思啊，主要是那个'-z' 'fi' 'forward'这三个 ik.qb.data.add('page','fromWap','0'); 最佳答案 -z判断变量值是否为

要把indoor 学生所在图书馆 寝室 教室的时间和贫困生项目join起来.源码是用pig写的 我要写一个mr程序 http://ju.outofmemory.cn/entry/113286 这是解决方案. list 集合中的add和set方法的区别 add方法是在某个指定的位置加上某个对象，并将原来的位置的那个对象向后挤了一格。 set方法是将原来位置上的那个给取代了，并将原来

2.scala没有静态的修饰符，但object下的成员都是静态的 ,若有同名的class,这其作为它的伴生类。在object中一般可以为伴生类做一些初始化等操作,如我们常常使用的val array=Array(1,2,3)  (ps:其使用了apply方法) scala里的object一般特指的是伴生对象， 可以通过对象名直接调用其中的成员， 类似Java中的static成员， 如果不在当前

我把svn src中的poor-students 复制到我的ideaProject中，然后 把类名修改为Students_Poor_Study_EntertainmentMain

JSON对象是一个无序的"名称/值"对的集合它开始于“{”，结束于“}”。每一个属性名和值间用“:”提示，属性间用“,”分隔。一个数组开始于"["，结束于"]"，值之间用","分隔。 数组和List转换为JSON用JSONArray.fromObject  Map、bean、beans(保存在一个List中转换)转换为JSON用 JSONObject.fromObjectJSONObject.

Hadoop MapReduce开发最佳实践（上篇） http://www.infoq.com/cn/articles/MapReduce-Best-Practice-1 MapReduce Input Split（输入分/切片）详解 http://blog.youkuaiyun.com/dr_guo/article/details/51150278 感谢原作者 看了很多博

更改完获得uaid方法 在本地运行报错，noclassfound，经过高手指导，发现原因是在pom.xml文件中，有的依赖Jar包的作用域模式为provided。这个模式默认你的环境中有这个jar包，所以就不再自动加载了。 经过本地测试url2categorymapreduce，输出数据和原程序一致，useragentid一列数据为  1 其他   2 苹果手机  3 安卓手机  4 PC

解决一个恶心的问题。 spark程序在从hdfs中读parquet文件写入mysql中报错了。 出现了该错误 java.sql.BatchUpdateException: Incorrect integer value: 'LHGJ11835K8000155' for column 'id' at row 1 输入路径为 /user/houzhq/test/AD/charge_outp...