- 博客(140)
- 资源 (30)
- 收藏
- 关注
RSS订阅转载 storm spark 的选择区别
实时商务智能这一构想早已算不得什么新生事物（早在2006年维基百科中就出现了关于这一概念的页面）。然而尽管人们多年来一直在对此类方案进行探讨，我却发现很多企业实际上尚未就此规划出明确发展思路、甚至没能真正意识到其中蕴含的巨大效益。为什么会这样？一大原因在于目前市场上的实时商务智能与分析工具仍然非常有限。传统数据仓库环境针对的主要是批量处理流程，这类方案要么延迟极高、要么成本惊人——当然
2015-12-17 17:09:19
4641
原创 Storm让大数据分析变得轻松加愉快。
简单和明了，Storm让大数据分析变得轻松加愉快。当今世界，公司的日常运营经常会生成TB级别的数据。数据来源囊括了互联网装置可以捕获的任何类型数据，网站、社交媒体、交易型商业数据以及其它商业环境中创建的数据。考虑到数据的生成量，实时处理成为了许多机构需要面对的首要挑战。我们经常用的一个非常有效的开源实时计算工具就是Storm —— Twitter开发，通常被比作“实时的Hadoop”。
2015-12-17 16:14:36
652
原创 web开发框架-spark
Spark是一个微型的Java Web框架，它的灵感来自于Sinatra，它的目的是让你以最小的代价创建出一个Java Web应用。最近更新到2.0.0，支持Java 8 ，支持Lambda，Demo代码看起来非常有吸引力spark 和Ruby语法相似，但是对web的支持是也是很好import static spark.Spark.*;public class HelloWor
2015-12-17 15:33:13
2780
原创 shiro 的安全框架学习1
1.论证2.受权3.加密，解密4.session会话和管理一：几个主要apisubject :当前的用户的和当前的的的有权限的操作的进程，authentication :受权的实体的信息的(authenticationInfo)realm：接口访问的具体的业务逻辑的实现 二：受权：（role.permission) 的两种方式的实现
2015-12-16 15:36:13
640
原创 spring 切换数据源的实现思路
spring 动态切换数据源的步子：DynamicDataSource extends AbstractRoutingDataSource AbstractRoutingDataSource 重写 @Override public void afterPropertiesSet(){} 这里有key的赋值重新赋值给targetDataSource
2015-12-16 15:14:17
490
转载 年度工作总结模板
一、 考核期内主要业绩，工作创新、工作质量及成效： 1. 2011.5.10 - 2011.7 ：联通116114门户网站开发 完成116114网站首页登录及注册、公告模块、红段子短信发送、地区二级联动、及一些公共代码的实现，在这个项目中学习了新的知识Freemarker及Ibatis，熟悉了JQuery的使用，并对统一框架有了一定的了解。并在规定时间内完成了开发任务。 项目描述：
2015-12-14 09:13:30
686
原创 jvm 实践
JAVA的JVM的内存可分为3个区：堆(heap)、栈(stack)和方法区(method 【常量池】)堆区: -vm args -Xms:【堆初始化大小】 -Xmx:【堆最大设置】堆是完全二叉树，堆中各元素是有序的。在这个二叉树中所有的双亲节点和孩子节点存在着大小关系，如所有的双亲节点都大于孩子节点则 为大头堆，如果所有的双亲节点都小于其孩子节点说明这是一个小头堆，建堆的过
2015-12-09 16:52:12
554
转载 利用经纬度计算两点之间距离：
由于现在的工作跟地图有关，经常会遇到根据经纬度计算两点之间距离的问题。所以今天就在这里分享一下，我用的方法。利用经纬度计算两点之间距离：12345678910111213141516171819202
2015-12-09 11:16:33
1500
1
转载 IE中如何阻止冒泡
IE中如何阻止冒泡阅读：1204 次 编辑日期：2014-04-09目录：1IE中如何阻止冒泡概述：前一段时间讲过如何阻止冒泡，但是说的不充分，因为冒泡也有兼容性问题，没错IE的兼容性，IE真是不甘寂寞啊，哈哈，今天说说如何使IE也阻止冒泡。在阅读本片文章之前，建议先阅读《理解冒泡与捕获》《如何阻止冒泡》
2015-12-09 11:12:12
881
原创 js array.sort
1234567testData = {"data":[ {"name":"a","date":"2013-12-01"}, {"name":"a","date":"2013-03-01"}, {"name":"a","date":"2012-11-01"}, {"name
2015-12-09 11:09:54
488
转载 JS中的事件代理
JS中的事件代理阅读：371 次 编辑日期：2015-03-30目录：1JS中的事件代理2查看实例概述：Dear all，有一件事我需要坦白一下，今天我才知道“事件代理”是怎么一回事儿，作为活在当下的好童鞋，今天我就说说JS中的“事件代理”。如果说一个table中有10行10列，我要给里面的每一个td绑定click事件
2015-12-09 10:53:21
870
转载 如何让textarea不可拖拽
如何让textarea不可拖拽阅读：9645 次 编辑日期：2013-11-22目录：1禁止文本域textarea可拖拽的方法2让textarea没有黄框且不能拖拽概述：文本域textarea有一个特性，就是可以拖拽改变其大小，但是在布局严格要求的页面中，这种特性显然会影响布局。禁止文本域textarea可拖拽的方法：
2015-12-09 10:42:49
2556
转载 js prototype
function定义的对象有一个prototype属性，prototype属性又指向了一个prototype对象，注意prototype属性与prototype对象是两个不同的东西，要注意区别。在prototype对象中又有一个constructor属性，这个constructor属性同样指向一个constructor对象，而这个constructor对象恰恰就是这个function函数本身。
2015-12-09 10:38:47
490
原创 js !!
var o={flag:true}; var test=!!o.flag;//等效于var test=o.flag||false; alert(test);由于对null与undefined用!操作符时都会产生true的结果，所以用两个感叹号的作用就在于，如果明确设置了o中flag的值（非 null/undefined/0""/等值），自然test就会取跟o.flag一样的值；如果没
2015-12-09 10:31:05
383
原创 js Function function
Function ,Array,Number,Objecrt 就js 原生对象！function array,number ,是继承这些对象来的， Function.prototype.是继承来的属性(arguments)
2015-12-09 09:56:37
701
原创 理清apply, call的区别与联系
如果没接触过动态语言,以编译型语言的思维方式去理解JavaScript将会有种神奇而怪异的感觉,因为意识上往往不可能的事偏偏就发生了,甚至觉得不可理喻.如果在学JavaScript这自由而变幻无穷的语言过程中遇到这种感觉,那么就从现在形始,请放下的您的”偏见”,因为这对您来说绝对是一片新大陆,让JavaScrip慢慢融化以前一套凝固的编程意识,注入新的生机!好,言归正传,先理解JavaSc
2015-12-09 09:49:51
470
原创 线程池的作用
线程池的作用: 线程池作用就是限制系统中执行线程的数量。 根据系统的环境情况，可以自动或手动设置线程数量，达到运行的最佳效果；少了浪费了系统资源，多了造成系统拥挤效率不高。用线程池控制线程数量，其他线程 排队等候。一个任务执行完毕，再从队列的中取最前面的任务开始执行。若队列中没有等待进程，线程池的这一资源处于等待。当一个新任务需要运行时，如果线程 池中有等待的工作线程，
2015-10-28 09:08:44
423
原创 java 多线程实践
1. 什么是多线程？，是指从软件或者硬件上实现多个线程并发执行的技术。具有多线程能力的计算机因有硬件支持而能够在同一时间执行多于一个线程，进而提升整体处理性能。具有这种能力的系统包括对称多处理机、多核心处理器以及芯片级多处理（Chip-level multithreading）或同时多线程（Simultaneous multithreading）处理器。[1] 在一个程序中，这些独立运行
2015-10-22 10:35:55
578
原创 mongoDb
当今NoSQL领域中有很多有力的竞争者通过多种方式来处理海量数据问题。其中重要的解决方案之一就是MongoDB。MongoDB是面向文档的弱结构化存储方案，使用JSON格式来展现、查询和修改数据。MongoDB文档相当完备，扩展规模与安装一样简单。它提供冗余、切片、索引以及map/reduce等概念支持。MongoDB的开源社区非常大且非常活跃。MongoDB在很多大型产品中被实际运用，如：Disney, Craigslist, Foursquare, Github 和SourceForge。MongoD
2015-10-22 09:56:24
494
原创 pig 是什么？
1. 什么是pig? Pig在Hadoop Pig Latin,并行的数据流语言 pig是hadoop上层的衍生架构，与hive类似。对比hive（hive类似sql，是一种声明式的语言），pig是一种过程语言，类似于存储过程一步一步得进行数据转化。5.Pig Latin的介绍 大小写敏感 注释 输入和输出 加载(Load) 存储(Store)
2015-10-22 09:37:04
2540
原创 hdfs 的存储系统的简介
,当用client向hdfs中写入数据的时候. 当我们向hdfs 写数据的时候,客户端要做两件事.首先,将数据文件划分不同的数据块,划分的标准默认是64MB或128MB,这个是可以配置的.其次是向namenode请求一批(实际上就是默认的3个)datanode以存放数据块.当然namenode不是随便的选出三个datanode给client,它会选择三个最靠近clien
2015-10-21 17:57:24
389
原创 Hive Hbase Pig 区别
对于刚接触大数据的用户来说，要想区分Hive与HBase是有一定难度的。本文将尝试从其各自的定义、特点、限制、应用场景等角度来进行分析，以作抛砖引玉之用。 Hive是什么？Apache Hive是一个构建于Hadoop(分布式系统基础架构)顶层的数据仓库，注意这里不是数据库。Hive可以看作是用户编程接口，它本身不存储和计算数据；它依赖于HDFS(Hadoop分布式文件系统)和MapRed
2015-10-21 17:21:32
703
转载 region 学习(2)
HBase region的分裂过程如图所示，其中红色代表RegionServer和或Master的行为，绿色的代表Clients的行为。1、RegionServer决定本地的region分裂，并准备分裂工作。第一步是，在zookeeper的/hbase/region-in-reansition/region-name下创建一个znode，并设为SPLITTING状态。2、M
2015-10-21 17:09:36
5447
原创 hbase Region 的学习
RegionManager --- 负责将 region 分配到 region server 的具体工作，还有监视 root 和 meta 这 2 个特殊 region的状态。RootScanner --- 定期扫描 root region ，以发现没有分配的 meta region 。MetaScanner--- 定期扫描 meta region, 以发现没有分配的 user region 。
2015-10-21 17:07:31
444
原创 hbase分页的功能实现
hbase分页功能的几种实现方案。分页功能是线上系统的常用功能，对hbase，有以下几个方案可以选择(抛砖引玉)。假设要查第N页，1页大小为M1 client分页，scan查到N*M条，过滤掉N*（M--1）条，返回M条。对于M,N较小时比较适合。2 自定义Filter，该filter可以传递offset(server端需要过滤的记录条数)，在server端分页，注
2015-10-21 16:56:58
3309
原创 java 操作hbase的数据
Java操作Hbase进行建表、删表以及对数据进行增删改查，条件查询1、搭建环境 新建JAVA项目，添加的包有: 有关Hadoop的hadoop-core-0.20.204.0.jar 有关Hbase的hbase-0.90.4.jar、hbase-0.90.4-tests.jar以及Hbase资源包中lib目录下的所有jar包 2、主要程序
2015-10-21 16:43:53
576
转载 HBase 命令详解
. 介绍 HBase是一个分布式的、面向列的开源数据库,源于google的一篇论文《bigtable：一个结构化数据的分布式存储系统》。HBase是Google Bigtable的开源实现，它利用Hadoop HDFS作为其文件存储系统，利用Hadoop MapReduce来处理HBase中的海量数据，利用Zookeeper作为协同服务。 HBase以表的
2015-10-21 16:33:44
813
转载 HBase学习(1)
HBase – Hadoop Database，是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。HBase是Google Bigtable的开源实现，类似Google Bigtable利用GFS作为其文件存储系统，HBase利用Hadoop HDFS作为其文件存储系统；Google运行MapReduce来
2015-10-21 16:21:20
388
原创 MINA框架的第一课
1.什么是MINA？ApacheMINA是一个网络应用程序框架，用来帮助用户简单地开发高性能和高可扩展性的网络应用程序。它提供了一个通过Java NIO在不同的传输例如TCP/IP和UDP/IP上抽象的事件驱动的异步API。Apache MINA 也称为:● NIO 框架库● 客户端服务器框架库● 一个网络套接字库MINA框架的特点有：基于jav
2015-10-20 16:39:51
772
原创 Hadoop组成简介
Hadoop组成简介 浏览(1647)|评论(0) 交流分类：Java|笔记分类: hadoop Hadoop是Apache的一个项目（它是包含了很多子项目的集合，见下图）,它是一个实现了MapReduce计算模型的可以运用于大型集群并行计算的分布式并行计算编程框架,当然分布式计算离不开分布式存储,Hadoop框架包含了分布式存储系统HDFS(Hadoop Di
2015-10-19 15:11:57
706
转载 Hadoop的调度器总结
Hadoop的调度器总结 浏览(1075)|评论(0) 交流分类：Java|笔记分类: hadoop 随着MapReduce的流行，其开源实现Hadoop也变得越来越受推崇。在Hadoop系统中，有一个组件非常重要，那就是调度器，它的作用是将系统中空闲的资源按一定策略分配给作业。在Hadoop中，调度器是一个可插拔的模块，用户可以根据自己的实际应用要求设计调度器。Had
2015-10-19 15:04:15
338
原创 hadoop 增加回收功能处置！
在core-site.xml中增加如下配置，表明rm后会在trash中保留多少分钟：fs.trash.interval10080Number of minutes between trash checkpoints. If zero, the trash feature is disabledhadoop的这个默认值是0.所以需要设置。
2015-10-19 15:01:40
323
原创 hive 的数据仓库的使用
1.什么是hive数据仓库•Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供类SQL查询功能。•本质是将SQL转换为MapReduce程序2.为什么要使用Hive•操作接口采用类SQL语法，提供快速开发的能力•避免了去写MapReduce，减少开发人员的学习成本•扩展功能很方便Hi
2015-10-19 14:59:08
520
原创 hibernate 注解
/** * * @ClassName: ComPosition * @Description: 公司职位实体类 * @author xh * @date 2013-7-2 上午9:49:45 * */@Entity@DynamicUpdate@DynamicInsert@SelectBeforeUpdatepublic class ComPositi
2015-07-04 10:42:18
446
原创 java 简体转繁体
package com.job5156.common.util;import java.util.Arrays;public class ChineseCodeChangeUtil { public final static String simplifiedChar = "丢并干夫布占畲来局俣系幸咱杰备效家雇当尽罗攒凶兑内册幂涂渎处别剥铲札胜绩匀汇奁椟恤咤吴唣念
2015-07-04 10:14:56
2257
转载 java 块的研究
java“块”的研究（转）本文重点关注静态块、非静态块、构造函数的加载顺序直接上代码：package test.staticblock; public class A { /*父类构造方法*/ public A(){ System.out.println("A constructor");
2015-06-20 22:58:46
353
原创 java queue 实战
java中queue的使用Queue接口与List、Set同一级别，都是继承了Collection接口。LinkedList实现了Queue接 口。Queue接口窄化了对LinkedList的方法的访问权限（即在方法中的参数类型如果是Queue时，就完全只能访问Queue接口所定义的方法 了，而不能直接访问 LinkedList的非Queue的方法），以使得只有恰当的方法才可以使用。B
2015-06-20 22:49:26
532
原创 googel 图片搜索原理
针对这个问题，请教了算法组的同事，他分享了基本的思路：对于这种图像搜索的算法，一般是三个步骤：1. 将目标图片进行特征提取，描述图像的算法很多，用的比较多的是：SIFT描述子，指纹算法函数，bundling features算法，hash function(散列函数)等。也可以根据不同的图像，设计不同的算法，比如图像局部N阶矩的方法提取图像特征。2. 将图像特征信息进行编码，并将海量图
2015-06-10 19:39:28
418
原创 jUnit 的使用
太久没有用junit写测试了，前几天被一个面试官问的自己很傻，所以特意在此重新学习和总结一下使用junit做测试目的是尽量早的发现程序的bug，一个bug隐藏的时间越久，修复他的代价就越大。Junit简介： Junit最初是由Erich Gamma 和 Kent Beck 编写的一个回归测试框架(regression testing framework)，为单元测
2015-06-03 16:53:23
374
原创 eclipse 的背景设置问题
Eclipse背景颜色修改： 操作界面默认颜色为白色。对于我们长期使用电脑编程的人来说，白色很刺激我们的眼睛，所以我经常会改变workspace的背景色，使眼睛舒服一些。设置方法如下： 1、打开window->Preference,弹出Preference面板 2、展开General标签，选中Editors选项，展开。 3、选中 Test Editors，右边出现Test
2015-06-02 17:25:58
522
linux抓包工具tcpdump的依赖m4,flex,flex++,bison,yacc,libpcap,tcpdump
2022-11-17
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人