上官皓晨-优快云博客

原创分别用Java和Scala求PV,UV测试程序

求 PV,UV的程序还是比较简单 ,在mapreduce阶段也有相应的Java代码,其实本质都是一样的, 首先要准备一下要分析的数据,这里就不把数据贴上去了 !//Java代码package com.zyf.myhadoop;import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apa

2017-08-27 17:23:49 1180

原创 Spark的安装配置以及初步测试

简单来说Spark就是专为大规模数据处理而设计的快速通用计算引擎spark伪分布式安装配置 1、解压 $ tar -zxvf /opt/softwares/spark-1.6.1-bin-2.5.0-cdh5.3.6.tgz2、配置，添加属性 $ mv spark-env.sh.template spark-env.sh JAVA_HOME=/opt/modules/jdk1.7.0_79

2017-08-24 19:17:09 379

原创 Spark的MapReduce

Spark的MapReduce相对是比较简单的,步骤如下: 先编写测试文件[zyf@hadoop ~]$ vi b.txt[zyf@hadoop ~]$ cat b.txt aaa bbbccc fffaaa bbbbbb fff（1）、将本地文件或者HDFS上的文件通过sc.textFile(“/input/b.txt”)加载到RDD中（2）、可以将RDD文件通过filter（）函

2017-08-24 17:52:39 617

原创 scala隐式转换函数

定义: 1.只要在程序可见的范围内定义了隐式转换函数,就会被scala自动调用 2.隐式转换函数的名字可以任意,建议名为”xxx2yyy” 3.以implicit开头,而且最好定义函数返回类型 eg:object Test{ def main(args:Array[String]): Unit ={ class Student(val name: String) c

2017-08-23 22:11:21 482

原创 hadoop集群CDH系统搭建(二)

接着上面继续三、CM的安装首先安装第三方依赖包（所有服务器）# yum -y install chkconfig python bind-utils psmisc libxslt zlib sqlite cyrus-sasl-plain cyrus-sasl-gssapi fuse portmap fuse-libs redhat-lsbComplete! 表示安装成功 1）在zyf1.

2017-08-23 18:31:06 1006

原创 hadoop集群CDH系统搭建(一)

首先,要问一下,cm是什么? 要安装部署100甚至1000台服务器的hadoop集群,还要包i括Hive,Hbase,Flume…组件,一天内搭建完成,还有就是考虑以后系统的更新问问题,那就需要CDH了CDH版本的优点：版本划分清晰版本更新速度快支持Kerberos安全认证文档清晰（官方文档）支持多种安装方式（Clou

2017-08-23 13:57:32 770

原创 scala代码求质数

思路:1. 质数是只能被1和自己整除也就是如果求余数的话那就是0 2.可以把需要判断的这个数从1开始到自己本身每一次取余的值记录到一个不定长的数组中 3.如果这个数为质数那么他的取余也就只有两个0,对应的就是在数组中元素为0 的个数也就只有两个package myscalaimport scala.collectio

2017-08-22 20:14:01 3110

ShangGuanhaochen的博客