- 博客(300)
- 收藏
- 关注
RSS订阅转载 ICE的异步方法调用
转自：http://blog.sina.com.cn/s/blog_45497dfa0100nwbr.htmlhttp://www.cnblogs.com/mawanglin2008/articles/3411735.htmlICE的AMI和AMD:AMI：指的是客户端的调用.一般有一个代理类，一个回调类。 从服务端返回的数据在回调类中的ice_response...
2016-10-13 16:36:00
351
转载 ICE简单介绍及使用示例
转自：http://blog.youkuaiyun.com/zhu2695/article/details/514946641、ICE是什么？ICE是ZEROC的开源通信协议产品，它的全称是：The Internet Communications Engine，翻译为中文是互联网通信引擎，是一个面向对象的中间件，使我们能够以最小的代价构建分布式应用程序。ICE使我们专注于应用逻辑的开发，...
2016-10-10 19:25:00
604
转载 linux-----top命令
转自百度：http://jingyan.baidu.com/article/4d58d5412917cb9dd4e9c0ed.html附：http://www.cnblogs.com/ggjucheng/archive/2012/01/08/2316399.htmlhttps://linux.cn/article-2352-1.htmlLinux系统可以通过...
2016-10-08 23:55:00
321
转载 Hive-ORC文件存储格式
转自：http://www.lai18.com/content/24596525.html?from=cancelORC文件格式是从Hive-0.11版本开始的。关于ORC文件格式的官方文档，以及基于官方文档的翻译内容这里就不赘述了，有兴趣的可以仔细研究了解一下。本文接下来根据论文《Major Technical Advancements in Apache Hive》中的内容进行深...
2016-09-26 21:28:00
176
转载 awk使用总结
转载自董的博客1. 什么是awkawk是Unix/Linux提供的样式扫描与处理工具，非常擅长处理结构化数据和生成表单。与sed 和grep 很相似，但功能却超过大于两者，由于awk具备各种脚本语言的特点，所以也可以把它看做一种脚本语言。本文介绍了awk的使用方法。2. awk程序设计模型awk程序由三部分组成，分别为：初始化（处理输入前做的准备,放在BEG...
2016-08-18 11:40:00
132
转载 Maven项目：Malformed POM expected START_TAG or END_TAG ........
今天在执行maven命令 mvn assembly:assembly -Dmaven.test.skip=true的时候报了个错，大概是Malformed POM expected START_TAG or END_TAG，起初不是很懂，借助错误提示，指向的是一段xml，具体到某行，大致是这段不整齐的（当时是能运行，觉得不整齐就不整齐吧）：。。。。。。。。。。。。。。。。...
2016-07-16 16:26:00
1631
转载 sqlyog一些快捷键
http://zhidao.baidu.com/link?url=q5GI6myyUENGkDKfGsz-4P01kbdkJBeSgPFvV3HeNjTTvh9QhTXYx5W0xdcS1P7qxmArnH57NcjfPYHTVHbBR_暂时发现用的比较多的是 F9执行SQL Ctrl+Shift+C 注释 SQL 窗口选择内容 Ctrl+Shift+R 从选择内容删除...
2016-07-14 10:31:00
114
转载 删除maven仓库中的LastUpdated文件
转自：http://www.oschina.net/code/snippet_151849_49131@echo offrem create by sunhao(sunhao.java@gmail.com)rem crazy coderrem 这里写你的仓库路径set REPOSITORY_PATH=F:\study\apache-maven-3.0.3...
2016-07-12 00:48:00
119
转载 Hadoop 2.2.0安装和配置lzo
转自：http://www.iteblog.com/archives/992 Hadoop经常用于处理大量的数据，如果期间的输出数据、中间数据能压缩存储，对系统的I/O性能会有提升。综合考虑压缩、解压速度、是否支持split，目前lzo是最好的选择。LZO（LZO是Lempel-Ziv-Oberhumer的缩写）是一种高压缩比和解压速度极快的编码，它的特点是解压缩速度非常快，无损压缩...
2016-07-11 12:28:00
125
转载 MapReduce 计数器简介
转自：http://my.oschina.net/leejun2005/blog/276891?utm_source=tuicool&utm_medium=referral1、计数器简介在许多情况下，一个用户需要了解待分析的数据，尽管这并非所要执行的分析任务 的核心内容。以统计数据集中无效记录数目的任务为例，如果发现无效记录的比例 相当高，那么就需要认真思考为何存在如此...
2016-07-08 10:55:00
146
转载 git技巧
工作区 -> git add -> 暂存区 -> git commit -> 版本库 -> git push -> 远程仓库版本库HEAD表示当前版本，上一个版本HEAD^，上上一个版本HEAD^^.......配置本机gitgit config --global user.name "abcd"git config --global user...
2016-06-27 01:51:00
85
转载 Centos安装（更新）git（亲测有效）
转自：http://blog.sina.com.cn/s/blog_3fe961ae0102w9ui.html#cmt_2977351太棒了！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！Centos 6.5默认安装的是git 1.7.X 版本，使用过程中会有一些奇怪的问题，对于用户名、密码支持不是很友好。将Centos6.5上的git更新到2.0.5，方...
2016-06-23 11:20:00
122
转载 GIT分支管理是一门艺术
转自：http://roclinux.cn/?p=2129原创文章属于《Linux大棚》博客，博客地址为http://roclinux.cn。文章作者为 rocrocket。为了防止某些网站的恶性转载，特在每篇文章前加入此信息，还望读者体谅。===[正文开始]原文链接：http://www.nvie.com/posts/a-successful-git-b...
2016-06-22 15:58:00
63
转载 Gitlab的使用
转自：https://blog.cnbluebox.com/blog/2014/04/15/gitlabde-shi-yong/最近成功的在公司部署了gitlab，鉴于同学们还不会使用，这里写篇博客说明下。如果想安装gitlab的话，需要一些linux的基础知识，我在这里记录了我安装的参考《http://www.cnbluebox.com/?p=378》1.什么是git...
2016-06-22 14:54:00
106
转载 框架安装
kafka下载http://kafka.apache.org/downloads.html解压tar -zxvf kafka_2.10-0.8.1.1.tgz启动服务首先启动zookeeper服务bin/zookeeper-server-start.sh config/zookeeper.properties启动Kafkabin/kafka-server-start.sh confi...
2016-06-22 01:22:00
367
转载 JAVA的各种O
转自：http://jeoff.blog.51cto.com/186264/88517/J2EE开发中大量的专业缩略语很是让人迷惑， 特别是对于刚毕业的新人来说更是摸不清头脑。若与公司大牛谈技术人家出口就是PO VO BO DTO POJO DAO 等，让新人们无比仰慕大牛。为了让新人快速成为牛人，今天我详细的为大家介绍这些专业名词。企业级项目实战...
2016-06-20 20:15:00
127
转载 对TextFile格式文件的lzo压缩建立index索引
转自：http://blog.youkuaiyun.com/yangbutao/article/details/8519572hadoop中可以对文件进行压缩，可以采用gzip、lzo、snappy等压缩算法。对于lzo压缩，常用的有LzoCodec和lzopCodec，可以对sequenceFile和TextFile进行压缩，但是有一点，对TextFile压缩后，mapred对压缩后的文件...
2016-06-20 15:31:00
220
转载 Java并行程序设计模式小结
转自：http://www.cnblogs.com/panfeng412/p/java-program-tuning-reading-notes-of-concurrent-program-design-pattern.html这里总结几种常用的并行程序设计方法，其中部分文字源自《Java程序性能优化》一书中，还有部分文字属于个人总结，如有不对，请大家指出讨论。Future...
2016-06-17 10:50:00
79
转载 Storm常见模式——流聚合
转自：http://www.cnblogs.com/panfeng412/archive/2012/06/04/storm-common-patterns-of-stream-join.html流聚合（stream join）是指将具有共同元组（tuple）字段的数据流（两个或者多个）聚合形成一个新的数据流的过程。从定义上看，流聚合和SQL中表的聚合（table join...
2016-06-17 10:37:00
97
转载 HBase修改压缩格式及Snappy压缩实测分享
HBase修改压缩格式及Snappy压缩实测分享转载于:https://www.cnblogs.com/cxzdy/p/5583404.html
2016-06-14 11:18:00
115
转载 HBase 常用Shell命令
转自：http://my.oschina.net/u/189445/blog/595232两个月前使用过hbase，现在最基本的命令都淡忘了，留一个备查~hbase shell命令 描述alter修改列族（column family）模式count统计表中行的数量...
2016-06-14 10:50:00
69
转载 HBase启动后发现HMaster进程消失了
HMaster没起来很多原因，这次看日志是这个。详细请看：http://www.bkjia.com/yjs/982064.htmlHbase:namespace异常处理，hbase异常处理Hbase 集群部署启动后几秒自动退出异常处理，1.hadoop 与 hbase 版本不兼容，会导致此异常。2.log 为org.apache.hadoop.hbas...
2016-06-12 20:45:00
1734
转载 this小案例
public class Son extends Parent { public String name="jack"; public void init(){ super.init(); System.out.println(this.name); } public st...
2016-06-08 18:07:00
105
转载 数据仓库的模型设计 （转）
数据仓库的模型设计A. 数据建模方法论数据仓库模型设计遵循“自顶向下、逐步求精”的设计原则。模型设计分为三个阶段：1，概念模型对业务的范围和使用，从高度上进行抽象概括，也就是划分主题域。一般划分为8个主题域：客户、服务、服务使用、账务、结算、资源、客服、营销为什么要划分主题域？划分主题域，是根据业务的应用和需要来划分的，是用来达到数据与业务紧...
2016-05-28 23:53:00
145
转载 集群搭建系列
Hadoop 2.4.0+zookeeper3.4.6+hbase0.98.3分布式集群搭建Ip主机名程序进程192.168.137.11h1JdkHadoophbaseNamenodeDFSZKFailoverControllerHamster...
2016-05-27 16:24:00
97
转载 你了解实时计算吗？
转自：http://www.cnblogs.com/foreach-break/p/what-is-real-time-computing-and-how.html?utm_source=tuicool&utm_medium=referral本文目录 [-点此收起]实时计算是什么？最热的微博话题是什么？如何定义时间？滑动窗口Topolo...
2016-05-25 00:31:00
105
转载 从Container内存监控限制到CPU使用率限制方案
转自：http://blog.youkuaiyun.com/Androidlushangderen/article/details/50282593前言最近在运维我们部门的hadoop集群时,发现了很多Job OOM的现象,因为在机器上可以用命令进行查看,full gc比较严重.我们都知道,full gc带来的后果是比较大的,会"stop the world"的,一旦你的full gc el...
2016-05-24 21:41:00
245
转载 Hive之分区（Partitions）和桶（Buckets）
转自：http://www.aahyhaa.com/archives/316hive引入partition和bucket的概念，中文翻译分别为分区和桶（我觉的不是很合适，但是网上基本都是这么翻译，暂时用这个吧），这两个概念都是把数据划分成块，分区是粗粒度的划分桶是细粒度的划分，这样做为了可以让查询发生在小范围的数据上以提高效率。首先介绍分区的概念，还是先来个例子看下如果创建...
2016-05-24 18:45:00
287
转载 使用Java API创建（create），查看（describe），列举（list），删除（delete）Kafka主题（Topic）--转载...
转自：http://www.cnblogs.com/davidwang456/p/4313784.html原文：http://blog.youkuaiyun.com/changong28/article/details/39325079使用Kafka的同学都知道，我们每次创建Kafka主题（Topic）的时候可以指定分区数和副本数等信息，如果将这些属性配置到server.propert...
2016-05-24 18:42:00
88
转载 HBase的compact分析
HBase是基于LSM树存储模型的分布式NoSQL数据库。LSM树对比普遍的B+树来说，能够获得较高随机写性能的同时，也能保持可靠的随机读性能（可参考这里）。在进行读请求的时候，LSM树要把多个子树（类似B+树结构）进行归并查询，对于HBase来说，这些子树就是HFile（还包括内存上的树结构MemStore）。因此归并查询的子树数越少，查询的性能就越高。Compact的作用...
2016-05-23 20:44:00
76
转载 HBase Rowkey的散列与预分区设计
转自：http://www.cnblogs.com/bdifn/p/3801737.html问题导读：1.如何防止热点？2.如何预分区？扩展：为什么会产生热点存储？HBase中，表会被划分为1...n个Region，被托管在RegionServer中。Region二个重要的属性:StartKey与EndKey表示这个Region维护的rowKey范围，当我们要读/写数据时，如果...
2016-05-23 20:23:00
82
转载 Zookeeper 快速理解
转自：http://blog.youkuaiyun.com/colorant/article/details/8444283==是什么==目标Scope（解决什么问题）为分布式系统提供高可靠性的协同工作机制官方定义ZooKeeper is acentralized service for maintaining configuration inf...
2016-05-20 21:35:00
70
转载 oozie 入门
转自：http://blackproof.iteye.com/blog/1928122oozie概述：oozie能干什么oozie格式：怎么用oozieoozie执行：怎么运行oozieoozie概述：oozie是基于hadoop的调度器，以xml的形式写调度流程，可以调度mr，pig，hive，shell，jar等等。主要的功能有Workflo...
2016-05-20 20:11:00
69
转载 Apache Storm内部原理分析
转自：http://shiyanjun.cn/archives/1472.html本文算是个人对Storm应用和学习的一个总结，由于不太懂Clojure语言，所以无法更多地从源码分析，但是参考了官网、好多朋友的文章，以及《Storm Applied: Strategies for real-time event processing》这本书，以及结合自己使用Storm的经历，希...
2016-05-20 20:09:00
106
转载 Java ArrayList源码剖析
转自：Java ArrayList源码剖析总体介绍ArrayList实现了List接口，是顺序容器，即元素存放的数据与放进去的顺序相同，允许放入null元素，底层通过数组实现。除该类未实现同步外，其余跟Vector大致相同。每个ArrayList都有一个容量（capacity），表示底层数组的实际大小，容器内存储元素的个数不能多于当前容量。当向容器中添加元素时，如果容量...
2016-05-18 11:09:00
98
转载 Java HashSet和HashMap源码剖析
转自：Java HashSet和HashMap源码剖析总体介绍之所以把HashSet和HashMap放在一起讲解，是因为二者在Java里有着相同的实现，前者仅仅是对后者做了一层包装，也就是说HashSet里面有一个HashMap（适配器模式）。因此本文将重点分析HashMap。HashMap实现了Map接口，允许放入null元素，除该类未实现同步外，其余跟Hasht...
2016-05-18 11:04:00
66
转载 初步掌握Yarn的架构及原理
转自：http://www.cnblogs.com/codeOfLife/p/5492740.html1、YARN 是什么？ 从业界使用分布式系统的变化趋势和 hadoop 框架的长远发展来看，MapReduce的 JobTracker/TaskTracker 机制需要大规模的调整来修复它在可扩展性，内存消耗，线程模型，可靠性和性能上的缺陷。在过去的几年中，hadoop ...
2016-05-15 11:42:00
80
转载 UML用例图总结
转自：http://kb.cnblogs.com/page/129491/用例图主要用来描述“用户、需求、系统功能单元”之间的关系。它展示了一个外部用户能够观察到的系统功能模型图。 【用途】：帮助开发团队以一种可视化的方式理解系统的功能需求。 用例图所包含的元素如下： 1.参与者(Actor) 表示与您的应用程序或系统进行交互的用户、组织或外部系统。用一个小...
2016-05-13 13:01:00
64
转载 UML类图几种关系的总结
转自：http://kb.cnblogs.com/page/129490/在UML类图中，常见的有以下几种关系:泛化（Generalization）,实现（Realization），关联（Association)，聚合（Aggregation），组合(Composition)，依赖(Dependency) 1.泛化（Generalization） 【泛化关系】：...
2016-05-13 13:00:00
815
转载 几款主流 NoSql 数据库的对比(转)
转自：http://www.cnblogs.com/vajoy/p/5471308.html最近小组准备启动一个 node 开源项目，从前端亲和力、大数据下的IO性能、可扩展性几点入手挑选了 NoSql 数据库，但具体使用哪一款产品还需要做一次选型。我们最终把选项范围缩窄在HBase、Redis、MongoDB、Couchbase、LevelDB 五款较主流的数据库产品中...
2016-05-13 12:35:00
155
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人