- 博客(27)
- 收藏
- 关注
RSS订阅spark源码分析：catalyst 草稿
object Optimizer extends RuleExecutor[LogicalPlan] { val batches = Batch("ConstantFolding", Once, ConstantFolding, [color=red]BooleanSimplification, SimplifyFilters,[/colo...
2014-05-06 10:28:53
176
原创 开源力量spark公开课的ppt
抱歉，最近事情多。刚刚上传了ppt附件所包含的文件仅用做学习交流用。在不以营利为目的的情况下，可以自由传播。请勿修改或进行以营利为目的的传播 ...
2014-04-02 11:23:16
218
原创 spark源码分析--rdd和stage的生成（更新了一张图）
原创，转载请注明出处 http://baishuo491.iteye.com/blog/2019510 ,作者邮箱：vc_java@hotmail.com,新浪微博：爱看历史的码农--白硕 作者单位：亚信联创大数据平台部从一个简单的例子，来看rdd的演化，和stage是如何生成的（过程灰常之复杂和抽象，请参考附件的图来理解）[code="java"]object BaiWordCou...
2014-02-19 23:24:19
260
spark源码分析--spark的任务调度(补充一张图)
原创，转载请注明出处 http://baishuo491.iteye.com/blog/2007317 ,作者邮箱：vc_java@hotmail.com,新浪微博：爱看历史的码农--白硕对于 http://baishuo491.iteye.com/blog/1994026，画了一张图，辅助源码阅读，图片较大[img]http://dl2.iteye.com/upload/attach...
2014-01-20 14:50:16
224
spark源码分析--spark的任务调度（standalone模式）
原创，转载请注明出处 http://baishuo491.iteye.com/blog/1994026 ,作者邮箱：vc_java@hotmail.com,新浪微博：爱看历史的码农--白硕在sparkContext的建立过程中(更细致的说是clientActor的preStart回调函数中)，会向master发送RegisterApplication消息[code="java"]mast...
2013-12-23 16:38:04
446
原创 spark源码分析--Master和worker建立连接
原创，转载请注明出处 http://baishuo491.iteye.com/blog/1990242。作者邮箱 vc_java@hotmail.comSpark的master启动后，等待work通过spark://master'ip:7077的url去连接Master. 在worker的回调函数preStart（Worker.scala）里面，调用了函数connectToMaste...
2013-12-16 15:55:32
167
原创 hadoop 写操作的完整笔记
原创 转载请注明出处 http://baishuo491.iteye.com/blog/1958649 作者邮箱：vc_java@hotmail.comCreate操作 1.String clientMachine = getClientMachine(); 2.namesystem.startFile(src,new PermissionStatus(UserGr...
2013-10-16 00:36:21
620
原创 website
http://hi.baidu.com/scuxy06/item/7046362d0f5be8fd51fd8724http://tengine.taobao.org/book/chapter_09.html#nginx-100http://www.ibm.com/developerworks/cn/linux/l-lkm/blog.youkuaiyun.com/hansel/article/det...
2013-08-11 23:53:07
804
原创 git的好文章
http://nettedfish.sinaapp.com/blog/2013/08/05/deep-into-git-with-diagrams/
2013-08-07 11:51:22
100
原创 hadoop里面的代码片段
注释的翻译如下：先interrupt所有的线程，在join它们，如果interrupted，就返回false，表明某些线程还在running/** * Try to interrupt all of the given threads, and join on them. * If interrupted, returns false, indicating some thre...
2013-08-06 15:35:58
98
原创 文件一致性的一些笔记
原创INodeFileUnderConstruction 继承自INodeFile ，但是多了下面这六个类变量。都是在为了标示UnderConstruction状态时的一些必要的信息class INodeFileUnderConstruction extends INodeFile String clientName; // lease holder pr...
2013-08-01 23:16:41
313
原创 hadoop2.0对命令调用的重构
原创，转载请注明出处 白硕 baishuo491@163.comhttp://baishuo491.iteye.com/blog/19162412.0以后，重构为为以Command为基础的一系列类 bstract public class Command extends Configured 最核心的是run函数，里面主要的行为就是处理各种选项，展开参数，并且处理每个参数（注释...
2013-07-31 17:10:29
104
原创 hadoop收集
http://hbase.apache.org/cygwin.htmlhttp://apps.hi.baidu.com/share/detail/48579339http://blog.sina.com.cn/s/blog_60d705b10100gs6t.htmlhttp://saupb.blog.163.com/blog/static/47124178201192711114494...
2011-12-27 11:02:56
235
1原创 _JAVA_SR_SIGNUM= 12
我也碰到过类似的问题，并找出些问题，但是还是会隔段时间出 现这种情况，不知道谁的TOMCAT服务器能够很稳定，并有之相关经验？我就先抛砖引玉吧：）。（1）由于数据库的问题，由于事务引 起数据库死锁。这样修改程序就可以解决的。（2）LINUX做WEB服务器时，由于它的线程机制会产生JVM出错的问题。必须在 /etc/profile 加上 export _JAVA_SR_SIGNU...
2011-12-05 11:08:11
1967
原创 用window.location.href进行跳转,request得不到refer
在ie下,用window.location.href=*******; 赋值进行跳转的话,下一个页面在request里面得不到refer解决办法:function showimage(year,month,day) { //解决ie下不能得到refer的问题 var url = "${contextPath}/calendar/getCalDayView/"...
2011-10-18 12:29:50
1202
原创 农历算法
首先是要保存公农历之间的转换信息：以任意一年作为起点，把从这一年起若干年（若干是多少？就看你的需要了）的农历信息保存起来（在我的VCL中，是以1921年作为起点）。回想一下，我们平常是怎样来转换公历农历的呢？是查万年历，万年历有每一天的公历农历，直接一查就可以了。那么我们可不可以也这样做呢？当然可以，但是，这样做就要收录每一天的信息，工作量就会很大，所以我们要简化这些信息。怎么简化呢？要保存一年的...
2011-10-10 12:14:55
265
原创 Eclipse的SVN插件 Subclipse
Subclipse 是一个为 Eclipse IDE 添加 Subversion 支持的项目。支持几乎所有版本的Eclipse。Eclipse的更新地址是：http://subclipse.tigris.org/update_1.6.x
2011-09-21 20:19:32
87
union和union all 的区别
UNION会 把重复的结果去掉，union all 不会SELECT DISTINCT SUBSTRING(A.last_update,1,4)FROM fnbl_eben_calendar AS A WHERE SUBSTRING(A.last_update,1,4)SUBSTRING(CURDATE(),1,4)UNION ALLSELECT SUBSTRING(A....
2011-09-06 18:18:23
66
springmvc + jason ajax
1.千万不能吧@requestBody 后面的类，放在controller里面作为内部类。否则会有http415错误。2 util:list的配置3: MappingJacksonHttpMessageConverter的配置 [color=red] [/color] ...
2011-09-06 17:38:53
103
原创 js工作笔记
碰到这样的问题：jquery-ad，下面的小图片列表，四个图片，3个一行，最后一个被折行了。用ie8开发工具下的箭头工具，选择了对应的元素，发现宽度是293px，原来设定的999999px被覆盖了。旁边显示的是292px来自inline-style。没有css文件源。原因是这个width是自动生成的，在jquery-ad里面。把宽度改大一些，就显示在一行里面了...
2011-08-25 12:47:09
61
原创 收藏的地址
http://www.cnblogs.com/xuanye/archive/2009/10/26/1590250.html有用的json解析器http://tools.jb51.net/tools/json/json_editor.htm
2011-08-17 16:02:35
266
原创 发布应用
安装funambol和wamp,注意funambol的安装路径不要有空格,使用wamp自带的mysql，wamp当作一个服务启动起来。修改funambol的install.properties, 运行funambol\bin\install-moduels和install找到funambol安装目录下的tomcat，配置到myeclipse里面。需要在mysql里面，加入几个表运行s...
2011-08-17 14:30:22
101
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人