
Spark
爆米花机枪手
无知者无畏~
展开
-
Spark再体验之springboot整合spark
有说胎记是前世死的方式,偶肚子上有个,于是想,难不成上辈子是被人捅死的,谁那么狠。。。后来遇到个人,在同样的位置也有个类似的,忽然就平衡了。 神回复:也可能你们俩上辈子是很烤串前言 上一篇主要讲的是spark环境的搭建和任务的提交,这一篇是将spark直接部署在springboot搭建的web服务里,一些数据逻辑交给spark去处理,至于原理等我对spark有了更深的理解再来一一讲述!编原创 2017-04-17 22:28:52 · 29249 阅读 · 19 评论 -
Spark初体验(配置超详细)
一乡二里共三夫子不识四书五经六义竟敢教七八九子十分大胆! 十室九贫 凑得八两七钱六分五毫四厘 尚且三心二意 一等下流前言 这里,不谈spark原理,作用,使用场景等,只是一个spark与java打通的一个过程。看似简单,整整花了哥两天的时间,版本号的坑,服务器的坑等等,头胀的能飘起来~!按照我下面说的环境和步骤去做,保证你99%能一次跑过,因为我是一边写此篇一边在新的虚拟机配置。一切都ok原创 2017-04-14 17:28:36 · 4956 阅读 · 3 评论 -
搭建spark on yarn 集群
两台用的都是ubuntu IP 主机名 192.168.22.137 spark-master 192.168.22.150 spark-slave1更改主机名确定每个节点的主机名与它在集群中所处的位置相同 如果不同,需要修改vi /etc/hostname 重启生效可能需要些安装某些工具包更换sources源...原创 2018-05-03 17:46:24 · 1154 阅读 · 0 评论 -
最近和未来要做的事
自己在大学的时候就想把学的一些东西整合在一个项目里,对自己也好对别人也好,能用的直接复制过去用,一是对知识点的总结,二是为了不重复造轮子。但是苦于自己懒,慢慢的就忘掉了,前段时间不知道什么原因,突然想起了这件事,就在平时的业余时间整理了一下放在了Github上原创 2017-06-17 18:05:37 · 1579 阅读 · 0 评论