年薪100万
关注
分享
扫一扫
panyuwu
这个作者很懒，什么都没留下…
展开
-
第14课：Spark RDD 解密
第14课：Spark RDD解密1 RDD：基于工作集的应用抽象2 RDD内幕解密3 RDD 思考MapReduce是基于数据集的位置感知，容错 负载均衡基于数据集的处理：从物理存储上加载数据，然后操作数据 然后写入物理存储设备，具体例子：Hadoop MapReduce 基于数据集的操作不适应的场景：1，不适合于大量的迭代2，交互式查询重点是：基于数据原创 2016-01-17 21:24:23 · 488 阅读 · 0 评论 -
Scala光速入门之Scala的基本语法、Array、Map、Tuple等
首先很高兴能成为王老师3000门徒之一，在新年第一天第一课《Scala光速入门》就长达三个小时，在这三个小时的时间里面，整体上感觉难度不是很大，但由于前期没有准备Scala环境，仅仅听导致效率很低，导致中间大半个小时基本上收获比较低，今天上午我把Scala环境搭建完毕，也把spark源码下载下来，后面紧跟着王老师的脚步，提高上课效率，课后及时复习；原创 2016-01-02 17:10:42 · 3669 阅读 · 1 评论 -
第3课：Scala函数式编程彻底精通及spark源码阅读
Scala最迷人的方式是函数式编程Spark中的多数计算都是用函数式编程的，处理数据的时候都是针对集合的，一般都会作用的集合之上。高阶函数，是scala和java最大不同点，最大价值今天讲每一个例子没一点，都必须掌握，开启全新的编程人生 函数和变量都一样的，函数是独立使用，独立存在 fun1_v =fun1 _ 必须空格加下划线Fun2 指向匿名函数 =>指向函数体原创 2016-01-04 16:18:00 · 870 阅读 · 0 评论 -
第4集：Scala模式匹配、类型系统彻底精通与Spark源码阅读
模式匹配和java中的switch case 强大很大，除了值，类型，集合等进行匹配最常见的Case class 进行匹配Master.scala 有大量的模式匹配模式匹配的使用编写简介明了，简洁等Case “_” 不满足上面所有的情况的体验def bigData(data:String){ datamatch{ case "Spark"=原创 2016-01-05 10:00:59 · 480 阅读 · 0 评论 -
第6集 精通spark集群搭建
1：安装虚拟机（VMware+ubuntukylin-14.04.3-desktop-amd64 ）2：网络配置：Ubuntu 系统配置文件在：/etc/network/interfaces编辑配置文件：sudo vi /etc/network/interfaces并用下面的行来替换有关eth0的行：# The primary network interfaceauto原创 2016-01-07 11:13:35 · 406 阅读 · 0 评论 -
个人总结
1：jenkins+gitlab+redmineJenkins 是一个可扩展的持续集成引擎。主要用于： 持续、自动地构建/测试软件项目。 监控一些定时执行的任务。 目前持续集成(CI)已成为当前许多软件开发团队在整个软件开发生命周期内侧重于保证代码质量的常见做法。它是一种实践，旨在缓和和稳固软件的构建过程。并且能够帮助您的开发团队应对如下挑战： 软件构建自动化原创 2016-01-14 16:41:38 · 424 阅读 · 0 评论