- 博客(29)
- 问答 (1)
- 收藏
- 关注
RSS订阅原创 Spark Streaming事务处理彻底掌握
Exactly once输出不重复A.课程的目的：根据自己的业务需要，定制开发自己需要的Spark版本，包括Spark Bug的修复，性能的改进，功能的扩展，总之适合自己公司的维护，便于简单易理解，易维护。B.事务处理，比如银行转账，事务的输入和输出都应该保证事务一致一方面处理能够处理，且只被处理一次，输出能够输出且只能输出一次一
2016-05-08 17:15:06
983
原创 解密SparkStreaming运行机制和架构分析
解密Spark Streaming Job架构和运行机制解密Spark Streaming容错架构和运行机制作业的生成肯定是一个动态的生成private[streaming]valgraph: DStreamGraph = { if(isCheckpointPresent) { cp_.graph.se
2016-05-08 16:44:38
1921
原创 基于案例一节课贯通Spark Streaming流计算框架的运行源码
在线动态计算分类最热门商品案例回顾与演示基于案例贯通Spark Streaming的运行源码使用Spark Streaming + Spark SQL来在线动态计算电商中不同类别中最热门的商品排名，例如手机这个类别下面最热门的三款手机。是用mysql数据库作为元数据库，使用Hive作为存储引擎，使用Spark SQL作为查询引擎。其中链接
2016-05-08 15:23:29
827
原创 通过案例对SparkStreaming透彻理解三板之二
1.解密Spark Streaming运行机制2.解密Spark Streaming架构I.Spark Core是基于RDD形成的，RDD之间都会有依赖关系，Spark Streaming在RDD上的时间维度，DStream就是在RDD的基础之上加上了时间维度。DStream就是RDD的模板，随着时间的流逝不断地实例化DStream，以数据进行填充DStream Graph,静态的
2016-05-06 23:44:06
1018
原创 通过案例对SparkStreaming透彻理解三板斧之一
I.Spark Streaming另类在线实验II.瞬间理解Spark Streaming本质扩展Spark的内容来适合自己的业务模型，自己能够进行框架的维护，就好比你拿到一个开源源代码，即使你编译引用库，那么你后期的维护和后期的扩展都会受到极大的限制，如果你自己依据于Spark的源码进行改造，那么自己后期的维护和扩展都是依赖于自己的设计来适合公司的业务逻辑，从而方便维护和可扩展Spa
2016-05-04 21:16:16
3905
原创 SparkStreaming数据源Flume实际案例分享
本期内容：1.Spark Streaming on polling from Flume实战2.Spark Streaming on polling fromFlume源码FlumeConnection:分布式连接的Flume实体I.实战一．通过Spark Streaming主动从Flume这边获取数据，首先配置Flume-config配置文件二．编写源代码Spar
2016-05-02 07:56:28
3297
原创 本课分2部分讲解： 第一部分，讲解Kafka的概念、架构和用例场景； 第二部分，讲解Kafka的安装和实战。 由于时间关系，今天的课程只讲到如何用官网的例子验证Kafka的安装是否成功。后续课程
本课分2部分讲解：第一部分，讲解Kafka的概念、架构和用例场景；第二部分，讲解Kafka的安装和实战。由于时间关系，今天的课程只讲到如何用官网的例子验证Kafka的安装是否成功。后续课程会接着讲解如何集成Spark Streaming和Kafka。一、Kafka的概念、架构和用例场景http://kafka.apache.org/documentation
2016-04-26 16:44:57
1755
原创 使用java开发spark实战
课程内容 使用java开发spark 实战 一：环境搭建 安装jdk 和maven。1. 安装jdk并配置环境变量系统变量→新建 JAVA_HOME 变量 。变量值填写jdk的安装目录（本人是E:\Java\jdk1.7.0)系统变量→寻找 Path 变量→编辑在变量值最后输入 %JAVA_HOME%\bin;%JAVA_HOME%\jre\bin;（注意
2016-04-26 16:42:24
7375
原创 一点感悟
是时候准备告别通信这个行业了，搞了这么多年，什么也没记，就一句话：20%的时间用来写需求设计，规格设计和详细设计，10%的时间用来写代码，70%的时间用来迭代测试，包括方案补充，单元测试，静态代码走读，动态代码检测，大并发测试，重构优化。
2016-01-21 19:09:13
397
原创 redhat6链接xmanager
1.首先保证redhat运行级别为：52.vi /etc/inittab 最后一行添加：id:5:respawn:/usr/sbin/gdm 3.service iptables stop4.vi /etc/gdm/custom.conf在[xdmcp] 下添加:Enable=1
2015-05-12 23:26:19
522
1转载 Linux 下调试线程死锁的方式
简介死锁 (deallocks)： 是指两个或两个以上的进程（线程）在执行过程中，因争夺资源而造成的一种互相等待的现象，若无外力作用，它们都将无法推进下去。此时称系统处于死锁状态或系统产生了死锁，这些永远在互相等待的进程（线程）称为死锁进程（线程）。 由于资源占用是互斥的，当某个进程提出申请资源后，使得有关进程（线程）在无外力协助下，永远分配不到必需的资源而无法继续运行，这就产生了一种
2015-04-02 17:59:28
639
原创 redhat5下解决Xmanager安装不上的问题
# vi /etc/pam.d/login #%PAM-1.0 #auth [user_unknown=ignore success=ok ignore=ignore default=bad] pam_securetty.so auth include system-auth account required pam_nologin.so
2015-03-01 23:20:16
687
空空如也
问一下，如果服务器绑定的是内网ip地址，那么我用外网ip访问这太服务器可以吗
2015-08-09
TA创建的收藏夹 TA关注的收藏夹
TA关注的人