sun4lower-优快云博客

原创第三课、Spark大型项目广告点击项目数据建模

1、项目分析用户广告点击行为（通过JS或者本地代码发送点击行为到服务器）---》Server接受到数据并把数据放在Flume（也可以是其他）的监控目录之下---》Flume感知到数据后会把数据放到Kafka中---》Spark Streaming感知到数据的到来并进行处理---》然后把流处理的结果交给例如HBase、Redis、MaySQL等---》通过J2EE等技术把分析结果展示出来

2016-09-23 11:09:36 873

原创第二课、Spark大型项目下的Spark Streaming本质剖析

1、Spark Streaming本质Input OutputComputation例子：def main(args: Array[String]): Unit = { val conf = new SparkConf().setAppName("SccOps").setMaster("local[2]") val ssc = new

2016-09-22 17:20:37 750

原创 Spark蘑菇云学习之路（项目实战）--1、项目概述

第一步：需求：数据的输入和数据的产出，大数据技术项目好比一台榨汁机，数据输入相当于例如苹果、柠檬等，然后通过榨汁机产出果汁；第二步：数据量（影响技术的选型）、处理效率（离线、在线）、可靠性、可维护性、简洁性第三步：数据建模（想象成一张一张的table，对整个项目的深刻理解）第四步：架构设计（数据怎么进来，处理完之后怎么展示，最最重要的是处理流程的架构）

2016-09-20 21:36:46 1969

原创 WebService (一) WebService概念

什么是WebService? WebService是一套标准，定义了应用程序如何在WEB上实现互操作性，你可以使用任何你喜欢的语言，在任何你喜欢的平台上写WebService，只要我们可以通过WebService标准对这些服务进行查询和访问。通俗的说，就是按照一定的XML格式，调用远程服务器上的方法，然后服务器按照一定的格式返回XML的内容。一定的格式就是指的SOAP（Simple Ob

2015-12-14 21:26:41 380

原创 mysql创建新的用户及flush privileges解析

1、首先以root用户登录到mysql2、首先要知道mysql的用户信息是存储在mysql.user（mysql数据库下的user数据表）下的，所以我们只需添加一个用户即可3、插入之后，并没有完全创建成功，我们可以测试一下，退出之后，用刚才创建的guest02进行登陆，提示错误4、其实上面的插入操作只是在user表中插入了一条记录，并没有刷新mysql的系统权限相关的数

2015-10-14 15:41:50 31601 1

原创下载网页中的html5视频之手动方法

最近在看慕课网的视频进行学习，中间遇到一个问题，移动端中的视频资源可以直接进行离线缓存，但是pc网页浏览的时候却没有提供相关下载或离线缓存的功能。下面是自己摸索出来的一个下载方法，操作还是比较简单，不过是一个笨办法，具体操作如下：1、首先打开你想要下载的视频，右击选择查审查元素，或者F12调出开发者工具。2、打开之后在开发者工具中选择network选项，此时会发现下面没有列表，或者

2015-09-24 15:13:28 28359 2