ydc321的专栏

网址：https://www.iteye.com/blog/superlxw1234-1534779 hive 多字段同时count(distinct)优化1. 需求与现状：源表：pcup_3month_login_dtl_mes ， 记录数12亿，文件数 300统计SQL:Sql代码in...

网址：http://eric-gcm.iteye.com/blog/1807468           https://www.cnblogs.com/hehaiyang/p/4484442.html一、类：WordCountpackage com.wave;import java.io.IOException;import java.util.StringTo

网址：https://www.cnblogs.com/Vvvolcano/p/7146636.html?utm_source=itdadao&utm_medium=referralPostgreSQL数据库介绍：PostgreSQL是一种运行在Unix和Linux操作系统(在NT平台借助Cygnus也可以运行)平台上的免费的开放源码的关系数据库。最早是由美国加州大学伯克利分校开

网址：https://zhidao.baidu.com/question/714457915663857445.html触发shuffle的常见算子：distinct、groupByKey、reduceByKey、aggregateByKey、join、cogroup、repartition等。要解决数据倾斜的问题，首先要定位数据倾斜发生在什么地方，首先是哪个stage，直接在Web UI

网址：https://mp.weixin.qq.com/s?__biz=MzA3MDg0MjgxNQ==&mid=2652392146&idx=1&sn=e3ebcdb53365d438505e92f6d2c0c04d&chksm=84da4a02b3adc3143b6fc45348af847f32820385d048ae0c3937013f8956befe73c6fcc0407e&mpsha

例一：《Spark大数据处理技术》程序2-25val compareElement:((String,Int),(String,Int)) => (String,Int) = (val1,val2) => {if (val1._2 >= val2._2){ val1} else { val2}}注释：1、用val定义函数2、compareElemen

网址：https://www.cnblogs.com/skyEva/p/5730531.html1 分析函数：用于等级、百分点、n分片等Ntile 是Hive很强大的一个分析函数。可以看成是：它把有序的数据集合 平均分配 到 指定的数量（num）个桶中, 将桶号分配给每一行。如果不能平均分配，则优先分配较小编号的桶，并且各个桶中能放的行数最多相差1。语法是： 

网址：https://jingyan.baidu.com/article/e5c39bf5d8abc039d660335f.html首先，给大家看一下我生成的错误的包路径。本来是想生成一个user包，下面有2个包，action 和 dao。但是实际生成的却是这个样子。见下图。接下来我们看看正确的方法怎么生成。比如，我们在src下生成想要的包路径。第一步：先新建一个user.dao（这个目录可以一次

http://www.flickering.cn/machine_learning/2015/04/vc%E7%BB%B4%E7%9A%84%E6%9D%A5%E9%BE%99%E5%8E%BB%E8%84%89/?from=timeline&isappinstalled=0目录：说说历史Hoeffding不等式Connection to Learning学习可行的两个核心条件Effect...

一.SQL规范1、SQL编写规范逗号放字段前面对用到的表都用子查询的形式，并且只取需要用到的字段缩进(select/from/where …and …/group by/order by/join/on…)符号前后留空格对一些复杂的逻辑和需要注意的点加上注释说明别名 同级用1、2、3...区分(如 t1、t2、t3)2.规范的好处规范的好处逻辑结构清晰便于调试便于模块化处理美观，条理清楚3.误区觉...

网址：https://www.cnblogs.com/Ohero/p/5230246.html这个月买了本书《Linux系统命令及Shell脚本实践指南》， 看到了一个周期性执行任务cron.顿时产生一个想法： mac上有这种机制么？加上自己也在15年下半年也学了点python脚本，哈哈，顿时就产生了这个想法“mac上使用crontab周期性执行python脚本”，不得不说网络是给力的，居然还真有...

网址：https://www.cnblogs.com/caiwenjing/p/8079227.html我的环境：MySQL：mysql-essential-5.1.51-win32　　　　　jdbc驱动：我已经上传到csdn上一个：http://download.youkuaiyun.com/source/3451945　　　　　Eclipse：任意版本，免费的，可以百度的到。1。MySQL安装，不会的朋友...

网址：http://blog.youkuaiyun.com/xushouwei/article/details/522013601.游标是啥玩意？简单的说：游标（cursor）就是游动的标识，啥意思呢，通俗的这么说，一条sql取出对应n条结果资源的接口/句柄，就是游标，沿着游标可以一次取出一行。我给大家准备一张图：2.怎么使用游标？//1.声明/定义一个游标declare

Windows平台下kafka环境的搭建一、Kafka配置： 参考网址：http://www.2cto.com/net/201701/588235.html 准备工作：1.安装jdk环境http://www.oracle.com/technetwork/java/javase/downloads/index.html 2.下载kafka的程序安装包http://ka

网址：http://www.360doc.com/content/13/0313/11/2036337_271208986.shtmlhttp://blog.youkuaiyun.com/yangtrees/article/details/7471222

判断点在多边形内部作者：hyp微博：http://weibo.com/hhyypp0.前言最近不断遇到类似的几何位置问题，一直没有花时间去总结，本文总结了我常用点跟多边形的位置判断方法以及代码。希望能够对大家有所帮助。文中所指的多边形均为凸多边形，一些描述可能有误，欢迎指正。1.测试的多边形在开始之前，我们需要先构建好测试环境。我构建了一个比较特

转发：http://www.tuicool.com/articles/qamYZvKNN(K-Nearest Neighbor)介绍Wikipedia上的 KNN词条 中有一个比较经典的图如下：KNN的算法过程是是这样的：从上图中我们可以看到，图中的数据集是良好的数据，即都打好了label，一类是蓝色的正方形，一类是红色的三角形，那个绿色的圆形是我们待分类的

转载网址：http://www.cnblogs.com/octobershiner/archive/2012/03/16/2400805.html     在开发的过程中，有时候我们需要研究源代码，查看源码是一个好的习惯，能帮我们学到很多的东西，比如JDK可以帮助我们理解很多设计模式在实际开发中的应用，又或者android开发者，源代码更是必不可少的，当我们看代码的时候总会有各

转载网址：http://www.hankcs.com/ml/back-propagation-neural-network.html我一直在找一份简明的神经网络入门，然而在中文圈里并没有找到。直到我看到了这份162行的Python实现，以及对应的油管视频之后，我才觉得这就是我需要的极简入门资料。这份极简入门笔记不需要突触的图片做装饰，也不需要赘述神经网络的发展历史；要推导有推导，要代码有代

转载网址：http://bbs.youkuaiyun.com/topics/3909077561, 软件准备：1-1，cmake-2.8.12.2-win32-x86.exe 1-2，OpenCV-2.4.6.0.exe 1-3，VS2010 2, OpenCV 2.4.6重编译过程：2-1，OpenCV-2.4.6.0解压缩，设解压缩目录为F:\opencv_extract.

原文地址：http://blog.sina.com.cn/s/blog_4b700c4c0100nhgo.html运动补偿是通过先前的局部图像来预测、补偿当前的局部图像，它是减少帧序列冗余信息的有效方法。运动估计是从视频序列中抽取运动信息的一整套技术。运动估计与运动补偿技术　　　　MPEG-4采用I-VOP、P-VOP、B-VOP三种帧格式来表征不同的运动补偿类型。它采用了H.26