scala
关注
分享
扫一扫
文章平均质量分 87
启功
这个作者很懒，什么都没留下…
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
孙其功陪你学之——基于IDEA使用Spark API开放Spark程序（2）
《Spark亚太研究院系列丛书——Spark实战高手之路 从零开始》本书通过Spark的shell测试Spark的工作；使用Spark的cache机制观察一下效率的提升构建Spark的IDE开发环境；通过Spark的IDE搭建Spark开发环境；测试Spark IDE开发环境等等。本节为大家介绍基于IDEA使用Spark API开放Spark程序。 2.基于IDEA使用Spark API转载 2015-01-16 14:03:29 · 1743 阅读 · 0 评论 -
孙其功陪你学之——Spark 正则化和SparkSQL
本博文程序是读取hadoop的hdfs中的文件，使用正则化解析出规定格式的数据，然后加载到sparkSQL数据库中。 正则化如果不太了解，请看正则表达式30分钟入门教程 package com.spark.firstApp import org.apache.spark.SparkContext import org.apache.spark._ import org.apache.lo原创 2015-04-16 14:42:18 · 4211 阅读 · 0 评论 -
孙其功陪你学之——Spark MLlib之K-Means聚类算法
看到 程序员的自我修养 – SelfUp.cn 里面有Spark MLlib之K-Means聚类算法。 但是是java 语言的，于是我按照例程用Scala写了一个，分享在此。 由于在学习 spark mllib 但是如此详细的资料真的很难找，在此分享。 测试数据 1 2 3 4 5 6 7原创 2015-03-18 17:38:00 · 2168 阅读 · 0 评论 -
孙其功陪你学之——spark----搜狗日志文件深入实战
《Spark亚太研究院系列丛书——Spark实战高手之路 从零开始》本书通过Spark的shell测试Spark的工作；使用Spark的cache机制观察一下效率的提升构建Spark的IDE开发环境；通过Spark的IDE搭建Spark开发环境；测试Spark IDE开发环境等等。本节为大家介绍Join操作深入实战。 动手实战操作搜狗日志文件 本节中所用到的内容是来自搜狗实验室，网址为转载 2015-01-16 14:08:23 · 2289 阅读 · 0 评论 -
孙其功陪你学之——基于IDEA使用Spark API开放Spark程序（3）
《Spark亚太研究院系列丛书——Spark实战高手之路 从零开始》本书通过Spark的shell测试Spark的工作；使用Spark的cache机制观察一下效率的提升构建Spark的IDE开发环境；通过Spark的IDE搭建Spark开发环境；测试Spark IDE开发环境等等。本节为大家介绍基于IDEA使用Spark API开放Spark程序。 基于IDEA使用Spark API开放转载 2015-01-16 14:05:12 · 1548 阅读 · 0 评论 -
孙其功陪你学之——Spark 中 map 与 flatMap 的区别
通过一个实验来看Spark 中 map 与 flatMap 的区别。 步骤一：将测试数据放到hdfs上面 hadoopdfs -put data1/test1.txt /tmp/test1.txt 该测试数据有两行文本： 步骤二：在Spark中创建一个RDD来读取hdfs文件/tmp/test1.txt 步骤三：查看map函数的转载 2015-01-16 13:50:01 · 2579 阅读 · 0 评论 -
孙其功陪你学之——基于IDEA使用Spark API开放Spark程序（1）
《Spark亚太研究院系列丛书——Spark实战高手之路 从零开始》本书通过Spark的shell测试Spark的工作；使用Spark的cache机制观察一下效率的提升构建Spark的IDE开发环境；通过Spark的IDE搭建Spark开发环境；测试Spark IDE开发环境等等。本节为大家介绍基于IDEA使用Spark API开放Spark程序。 基于IDEA使用Spark API开放转载 2015-01-16 14:01:03 · 1587 阅读 · 0 评论