- 博客(92)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 HBase与MapReduce集成3-HBase2RDBMS
3）将HBase表的数据导出到RDBMS中 HBase2RDBMS 51.7. HBase MapReduce Summary to RDBMSimport java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.conf.Configured
2015-08-05 09:32:42
597
原创 HBase与MapReduce集成2-Hdfs2HBase
2）File中解析数据到HBase表中（import） Hdfs2HBase 文件格式的数据->HBase表中Mapreduce* input: hdfs files Mapper:OutputKey/OutputValue* output: hbase table import java.io.IOException;import org.apach
2015-08-05 09:29:56
964
原创 HBase与MapReduce集成1-HBase2Hdfs
1)将HBase表中数据导出到文件中（export），表的一行数据就是文件的一行数据，列之间的分隔符为制表符。 a）importtsv工具使用测试 HBase2Hdfs 51.5. HBase MapReduce Summary to File Example 将HBase表中的数据导出到文件中* input :HBase table* output:hdfs
2015-08-05 09:25:01
507
原创 importtsv工具使用笔记
step 1 :上传bin/hdfs dfs -put test_datas/user.tsv /user/cyhp/importtsv示例格式的文件：/user/cyhp/importtsv/user.tsv1000001,name1,10,female,183170508951000002,name2,20,female,183170508951000003,na
2015-08-05 09:11:16
2400
转载 Eclipse快捷键 10个最有用的快捷键
Eclipse中10个最有用的快捷键组合 一个Eclipse骨灰级开发者总结了他认为最有用但又不太为人所知的快捷键组合。通过这些组合可以更加容易的浏览源代码，使得整体的开发效率和质量得到提升。 1. ctrl+shift+r：打开资源 这可能是所有快捷键组合中最省时间的了。这组快捷键可以让你打开你的工作区中任何一个文件，而你只需要按下文件名或mask名中的前几个字母，比如a
2015-06-01 13:23:57
393
转载 Java转型(向上或向下转型)
在Java编程中经常碰到类型转换，对象类型转换主要包括向上转型和向下转型。5.13.1 向上转型我们在现实中常常这样说：这个人会唱歌。在这里，我们并不关心这个人是黑人还是白人，是成人还是小孩，也就是说我们更倾向于使用抽象概念“人”。再例如，麻雀是鸟类的一种（鸟类的子类），而鸟类则是动物中的一种（动物的子类）。我们现实中也经常这样说：麻雀是鸟。这两种说法实际上就是所谓的向上转型，通俗地说就是
2014-12-03 22:16:33
344
转载 Shell脚本中调用另外一个脚本的方法
在Linux平台上开发，经常会在console(控制台)上执行另外一个脚本文件，经常用的方法有：./my.sh 或source my.sh 或 . my.sh；这三种方法有什么不同呢？我们先来了解一下在一个shell脚本中如何调用另外一个shell脚本，其方法有fork exec source。1、fork ( /directory/script.sh) ：如果she
2014-11-02 15:30:03
591
原创 Storm使用场景
1.流聚合流聚合把两个或者多个数据流聚合成一个数据流-基于一些共同的tuple字段。builder.setBolt(5,new MyJoiner(),parallelism).fieldGrouping(1,newFields("joinfield1","joinfield1")).fieldGrouping(2,newFields("joinfield1","joinfield1
2014-09-14 10:48:59
1161
原创 top命令(动态查看进程的变化)
第一行(top...) 目前的时间 开机到目前为止所经过的时间 已经登录系统用户的人数 系统在1,5,15分钟的平均工作负载第二行(Tasks...) 目前进程的总量与个别进程在什么状态(running,sleeping,stopped,zombie)第三行(Cpus...) CPU的整体负载(
2014-07-23 09:39:01
1421
转载 Map中删除数据
在Map中直接删除内容将抛出 java.util.ConcurrentModificationException 异常，如果要删除可以用Iterator的remove()方法。以下代码报错：Java代码 Map map = new HashMap (); map.put("1", "a"); map.put("2", "b"); map.put("
2014-07-18 12:36:14
4129
转载 Java中的线程Thread总结
前几篇都介绍了几个关于Thread的几个方法，下面就来总结一下吧，首先来看一张图，下面这张图很清晰的说明了线程的状态与Thread中的各个方法之间的关系，很经典的！在Java中创建线程有两种方法：使用Thread类和使用Runnable接口。要注意的是Thread类也实现了Runnable接口，因此，从Thread类继承的类的实例也可以作为target传入这
2014-07-13 21:08:46
505
原创 线程池
线程池： 多线程技术主要解决处理器单元内多个线程执行的问题，它可以显著减少处理器单元的闲置时间，增加处理器单元的吞吐能力。 假设一个服务器完成一项任务所需时间为：T1 创建线程时间，T2 在线程中执行任务的时间，T3 销毁线程时间。 如果：T1 + T3 远大于 T2，则可以采用线程池，以提高服务器性能。 一个
2014-07-12 17:34:39
582
转载 java的System.getProperty()方法可以获取的值
java.versionJava运行时环境版本java.vendorJava运行时环境供应商java.vendor.urlJava供应商的 URLjava.homeJava安装目录java.vm.specification.versionJav
2014-07-08 10:42:43
366
转载 Jedis、JedisPool、Jedis分布式实例介绍
一、相关jar包 主要用到的是jedis的核心包，笔者用到的是2.1.0版；另根据“池”的应用等还需要用到相关jar包。下图是笔者建立的简单的jedis测试project图： jar包的文档可参考：http://www.boyunjian.com/javadoc/org.apache.servicemix.bundles/org.apache.servicemix.bu
2014-07-07 16:06:45
1004
转载 Sentinel
Sentinel¶Note本文档翻译自： http://redis.io/topics/sentinel 。Redis 的 Sentinel 系统用于管理多个 Redis 服务器（instance）， 该系统执行以下三个任务：监控（Monitoring）：Sentinel 会不断地检查你的主服务器和从服务器是否运作正常。提醒（Notification）： 当被监控的
2014-07-07 16:03:51
611
转载 常见JedisConnectionException异常分析
纯属用于笔记，转自：http://blog.youkuaiyun.com/fachang/article/details/7984123最近项目开发中用到了Redis, 选择了官网推荐的java client Jedis。Redis常用命令学习：http://redis.io/commandsRedis官方推荐Java客户端Jedis（包含了所有Redis命令的实现）：https://gi
2014-07-07 16:01:12
616
转载 sleep和wait有什么区别
1、这两个方法来自不同的类分别是Thread和Object 2、最主要是sleep方法没有释放锁，而wait方法释放了锁，使得其他线程可以使用同步控制块或者方法。 3、wait，notify和notifyAll只能在同步控制方法或者同步控制块里面使用，而sleep可以在 任何地方使用（使用范围） synchronized(x){ x.notify() //或者w
2014-06-12 18:28:21
1980
原创 Linux的启动流程分析
1.加载BIOS的硬件信息与进行自我测试，并依据设置取得第一个可启动的设备;(lod BIOS(hardware information))2.读取并执行第一个启动设备内的MBR的boot Loader（即是grub，spfdisk等程序);(read MBR's config to find out the OS)3.依据boot Loader的设置加载Kernel,Kern
2014-05-03 17:12:48
418
原创 hadoop-lzo 安装手册
hadoop-lzo安装手册环境操作系统CentOS release 6.3 64位JDK 1.7gcc 4.6.3前提:安装文件都放在/usr/local/lzo文件夹下exportHADOOP_HOME=/usr/local/hadoopexportHADOOP_CLASSPATH=$HAD
2014-04-19 19:06:16
634
转载 UML类图几种关系的总结
在UML类图中，常见的有以下几种关系: 泛化（Generalization）, 实现（Realization），关联（Association)，聚合（Aggregation），组合(Composition)，依赖(Dependency) 1. 泛化（Generalization） 【泛化关系】：是一种继承关系，表示一般与特殊的关系，它指定了子类如何特化父类的
2014-03-20 12:18:49
419
原创 设计模式_状态模式
MMState.javapackage com.bjsxt.dp.state;public abstract class MMState { public abstract void smile(); public abstract void cry(); public abstract void say();}MMHappyState.javapackage
2014-03-12 16:04:15
468
原创 设计模式_命令模式
Command.javapackage com.bjsxt.dp.command;public abstract class Command { public abstract void execute(); public abstract void unDo();} HugCommand.javapackage com.bjsxt.dp.command;p
2014-03-12 15:59:54
400
原创 设计模式_桥接模式
如果在子类的扩展上有2个维度，如果你想解耦合来解决他们的排列组合时用桥接模式(2个维度排列组合) GiftImpl.javapackage com.bjsxt.dp.bridge;public class GiftImpl {}Gift.javapackage com.bjsxt.dp.bridge;public class Gift { protec
2014-03-12 10:32:42
516
原创 设计模式_代理模式
代理模式的主要作用是为其他对象提供一种代理以控制对这个对象的访问。Moveable.javapackage com.bjsxt.proxy;public interface Moveable { void move(); }Tank.javapackage com.bjsxt.proxy;import java.util.Random;pub
2014-03-11 23:31:55
484
原创 设计模式_抽象工厂模式
系列产品（车、武器、食品补给……）Vehicle.javapackage com.bjsxt.dp.factory.abstractfactory;public abstract class Vehicle { public abstract void run();}Weapon.javapackage com.bjsxt.dp.factory.abstractfa
2014-03-11 14:23:59
438
原创 设计模式_简单工厂模式
只给司机一辆车（单例、多例） 任意定制交通工具的类型和生产过程Moveable.javapackage com.bjsxt.dp.factory;public interface Moveable { void run();}VehicleFactory.javapackage com.bjsxt.dp.factory;public abstrac
2014-03-11 14:11:21
467
原创 设计模式_策略模式
针对一组算法，将每一个算法封装到具有共同接口的独立的类中，从而使它们可以相互替换。 Comparable.javapackage com.bjsxt.dp.strategy;public interface Comparable { public int compareTo(Object o);}Comparator.javapackage com.bjsxt
2014-03-10 16:22:00
465
原创 设计模式_迭代器模式
请自己动手写一个可以动态添加对象的容器 考虑容器的可替换性Iterator.javapackage com.bjsxt.dp.iterator;public interface Iterator { Object next(); boolean hasNext();}Collection.javapackage com.bjsxt.dp.iterat
2014-03-09 23:18:57
494
原创 设计模式_责任链模式
Filter.javapackage com.bjsxt.dp.filter;public interface Filter { void doFilter(Request request, Response response, FilterChain chain);}FilterChain.javapackage com.bjsxt.dp.filter;i
2014-03-09 15:46:19
496
原创 设计模式_观察者模式
问题: 请模拟下列情形 小孩在睡觉 醒来后要求吃东西package com.bjsxt.dp.observer.test1; class Child implements Runnable{ private boolean wakeUp=false; //小孩处于睡着状态 void wakeUp()
2014-03-09 15:29:42
522
转载 GRASP (职责分配原则)
要学习设计模式，有些基础知识是我们必须要先知道的，设计模式是关于类和对象的一种高效、灵活的使用方式，也就是说，必须先有类和对象，才能有设计模式的用武之地，否则一切都是空谈，那么类和对象是从那冒出来的呢？这时就需要比23种设计模式更重要更经典的GRASP模式登场了，嘿嘿，原来这才是老大！GRASP(General Responsibility Assignment Software Patter
2014-03-08 20:54:28
772
转载 Java、.NET、C/C++学那个好？
Java、.NET、C/C++、游戏、测试...我学哪一个好？ 第一：看你的兴趣。很多人对游戏感兴趣，但是要搞清楚你是对"玩游戏"感兴趣还是对"编写游戏"感兴趣。 第二：看哪一个更容易就业，不要相信任何培训机构的忽悠，到www.51job.com上去搜"java、C/C++、.NET..."看看哪个需要的人多就可以了。 第三：从目前看，无论你学哪一个都可以实现就业
2014-03-07 17:02:37
860
原创 MongoDB数据库文档大全(第7-9讲)
第七讲主从复制1.主从复制是一个简单的数据库同步备份的集群技术. 1.1在数据库集群中要明确的知道谁是主服务器,主服务器只有一台. 1.2从服务器要知道自己的数据源也就是对于的主服务是谁. 1.3--master用来确定主服务器,--slave 和 –source 来控制从服务器1.主从复制集群案例 主8888 dbpath = D:\sortwa
2014-02-28 16:41:22
684
原创 MongoDB数据库文档大全(第4-6讲)
第四讲索引详讲1.创建简单索引 数据准备index.js 1.先检验一下查询性能 var start = new Date() db.books.find({number:65871}) var end = new Date() end - start
2014-02-27 16:41:56
767
原创 MongoDB数据库文档大全(第1-3讲)
MongoDB数据库简单介绍 MongoDB是一个高性能 ，开源 ，无模式的文档型数据库，它在许多场景下可用于替代传统的关系型数据库或键/值存储模式。MongoDB是用C++开发， 提供了以下功能： 1.面向集合的存储：适合存储对象及JSON形式的数据。 2.动态查询：Mongo支持丰富的查询表达式。查询指令使用JSON形式的 标记，可轻易查询文档中内嵌
2014-02-26 13:51:40
1280
转载 8种Nosql数据库系统对比
虽然SQL数据库是非常有用的工具，但经历了15年的一支独秀之后垄断即将被打破。这只是时间问题：被迫使用关系数据库，但最终发现不能适应需求的情况不胜枚举。但是NoSQL数据库之间的不同，远超过两 SQL数据库之间的差别。这意味着软件架构师更应该在项目开始时就选择好一个适合的 NoSQL数据库。针对这种情况，这里对Cassandra、Mongodb、CouchDB、Redis、Riak、M
2014-02-23 16:23:25
566
转载 Hadoop的MapReduce中多文件输出
inkfish原创，请勿商业性质转载，转载请注明来源（http://blog.youkuaiyun.com/inkfish ）。 Hadoop默认的输出是TextOutputFormat，输出文件名不可定制。hadoop 0.19.X中有一个org.apache.hadoop.mapred.lib.MultipleOutputFormat，可以输出多份文件且可以自定义文件名，但是从hadoop 0.20
2014-02-19 14:58:49
618
转载 [原创]Apache Pig中文教程（进阶）
转载必须注明出处：http://www.codelast.com/本文包含Apache Pig的一些进阶技巧及用法小结。如要学习基础教程，请查看我写的【其他几篇文章】。本文的大量实例都是作者Darran Zhang（website: codelast.com）在工作、学习中总结的经验或解决的问题，并且添加了较为详尽的说明及注解，此外，作者还在不断地添加本文的内容，希望能帮助一部分人。
2013-12-26 11:19:29
993
转载 Apache Pig的一些基础概念及用法总结
转载必须注明出处：http://www.codelast.com/本文可以让刚接触pig的人对一些基础概念有个初步的了解。本文大概是互联网上第一篇公开发表的且涵盖大量实际例子的Apache Pig中文教程（由Google搜索可知），文中的大量实例都是作者Darran Zhang（website: codelast.com）在工作、学习中总结的经验或解决的问题，并且添加了较为详尽的说明及注解
2013-12-19 15:51:04
1290
原创 漂浮窗口的实现
<%@ page language="java" contentType="text/html; charset=utf-8" pageEncoding="utf-8"%> New Document 上海师范大学 欢迎您! var xPos =
2013-12-18 20:30:36
870
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人