- 博客(43)
- 收藏
- 关注
转载 Java程序员集合框架面试题
Java集合框架是最常被问到的Java面试问题,要理解Java技术强大特性就有必要掌握集合框架。这里有一些实用问题,常在核心Java面试中问到。1、 什么是Java集合APIJava集合框架API是用来表示和操作集合的统一框架,它包含接口、实现类、以及帮助程序员完成一些编程的算法。简言之,API在上层完成以下几件事:● 编程更加省力,提高城程序速度和代码质量● 非关联的
2012-05-25 23:29:53
1121
原创 win7多重网络
笔记本换了个有线网络就出现了多重网络导致上不了网了,G了一下发现安装的itunes里带的一个Bonjour程序导致的,删除相关程序服务注册表之后,还是上不了网于是用ipconfig/all命令查看一下设置,发现默认网关有两项,但在本地连接里却只能看到一项,于是用netsh命令配置一下本地连接里的IP相关信息,c
2012-05-19 10:07:09
1624
转载 linux常用命令
一、通用命令: 1. date :print or set the system date and time 2. stty -a: 可以查看或者打印控制字符(Ctrl-C, Ctrl-D, Ctrl-Z等) 3. passwd: print or set the system date and time (用passwd -h查看) 4. logout, login: 登录she
2012-05-05 09:31:09
814
转载 linux文件系统
文件类型:1.普通文件 普通文件也称作常规文件,包含各种长度的字节串。核心对这些数据没有进行结构化,只是作为有序的字节序列把它提交给应用程序。应用程序自己组织和解释这些数据,通常把它们归并为下述类型之一: ◆文本文件,由ASCII字符构成。例如,信件、报告和称作脚本(Script)的命令文本文件,后者由shell解释执行。 ◆数据文件,由来自应用程序的数字型和文本
2012-05-04 10:13:28
1489
转载 linux进程优先级、进程nice值(转载)
网络收集,自学自用~进程cpu资源分配就是指进程的优先权(priority)。优先权高的进程有优先执行权利。配置进程优先权对多任务环境的linux很有用,可以改善系统性能。还可以把进程运行到指定的CPU上,这样一来,把不重要的进程安排到某个CPU,可以大大改善系统整体性能。一、先看系统进程:首先,我想用一个简单的命令来引起这个议题。 无论在linux或者
2012-04-25 11:32:23
66851
1
转载 复杂指针
右左法则----复杂指针解析因为C语言所有复杂的指针声明,都是由各种声明嵌套构成的。如何解读复杂指针声明呢?右左法则是一个既著名又常用的方法。不过,右左法则其实并不是C标准里面的内容,它是从C标准的声明规定中归纳出来的方法。C标准的声明规则,是用来解决如何创建声明的,而右左法则是用来解决如何辩识一个声明的,两者可以说是相反的。右左法则的英文原文是这样说的:The right-lef
2011-12-31 09:43:01
876
转载 自定义hadoop map/reduce输入文件切割InputFormat 更改输入value的分隔符
本文转载自:http://hi.baidu.com/lzpsky/blog/item/99d58738b08a68e7b311c70d.html hadoop会对原始输入文件进行文件切割,然后把每个split传入mapper程序中进行处理,FileInputFormat是所有以文件作 为数据源的InputFormat实现的基类,FileInputFormat保存作为job输入
2011-12-01 21:22:28
4625
转载 MapReduce 新旧API
我使用的hadoop的版本为0.20.2。Hadoop从0.20.0版本加入了新的MapReduce Java API,我之后的学习中没有额外说明,均使用的新的API。下面简单介绍一下新旧API的区别: (1)新的API倾向于使用抽象类,而不是接口。新的API中Mapper和Reducer是抽象类。 (2)新的API在org.apache.hadoop.mapreduce包和子包中,旧
2011-12-01 21:02:03
1609
转载 MapReduce的输入输出格式
默认的mapper是IdentityMapper,默认的reducer是IdentityReducer,它们将输入的键和值原封不动地写到输出中。默认的partitioner是HashPartitinoer,它根据每条记录的键进行哈希操作来分区。输入文件:文件是MapReduce任务的数据的初始存储地。正常情况下,输入文件一般是存在HDFS里。这些文件的格式可以是任意的;我们可以
2011-12-01 20:35:34
14012
转载 Hbase分析报告
Hbase分析报告本文基于环境hadoop-0.16.4 和 hbase-0.1.3 编写Hbase是一个分散式开源资料库,基于Hadoop分散式文件系统,模仿并提供了基于Google文件系统的Bigtable资料库的所有功能。Hbaes的目标是处理非常庞大的表,可以用普通的电脑处理超过10亿行资料,并且有数百万列元素组成的资料表。Hbase可以直接使用本地文件系统或者Hadoop
2011-11-17 13:41:59
2323
转载 HBase技术介绍
HBase简介HBase – Hadoop Database,是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统,利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。HBase是Google Bigtable的开源实现,类似Google Bigtable利用GFS作为其文件存储系统,HBase利用Hadoop HDFS作为其文件存储系统;Google运行MapRe
2011-11-17 13:08:10
727
原创 save
百度搜索研发部官方博客:http://stblog.baidu-tech.com/搜索技术博客-淘宝:http://www.searchtb.com/淘宝核心系统团队博客:http://rdc.taobao.com/blog/cs/TabaoQATeam:http://qa.taobao.com业务开发测试HBase之旅一:HTable基本概念http://qa.t
2011-11-17 12:47:34
689
转载 Hbase表的结构
转至:http://hi.baidu.com/kayin521/blog/item/7c276207b5c029613812bb44.html逻辑视图 HBase以表的形式存储数据。表有行和列组成。列划分为若干个列族(row family)Row Keycolumn-family1column-family2column-family3
2011-11-17 12:42:32
34046
1
转载 维度表 事实表
转至:http://www.cnblogs.com/47613593/archive/2009/02/20/1394581.html维度表示你要对数据进行分析时所用的一个量, 比如你要分析产品销售情况, 你可以选择按类别来进行分析,或按区域来分析. 这样的按..分析就构成一个维度。前面的示例就可以有两个维度:类型和区域。另外每个维度还可以有子维度(称为属性),例如类别可以有子类型,产品名等
2011-11-16 18:03:27
2266
转载 数据仓库
http://blog.youkuaiyun.com/foxnet2003/archive/2005/09/15/481830.aspx数据仓库:数据仓库是一个支持管理决策的数据集合。数据是面向主题的、集成的、不易丢失的并且是时间变量。数据仓库是所有操作环境和外部数据源的快照集合。它并不需要非常精确,因为它必须在特定的时间基础上从操作环境中提取出来。数据集市:数据仓库只限于单个主题的区域,例如顾客
2011-11-15 16:31:16
1180
转载 hive Hql
创建表hive> CREATE TABLE pokes (foo INT, bar STRING); 创建表并创建索引字段dshive> CREATE TABLE invites (foo INT, bar STRING) PARTITIONED BY (ds STRING); 显示所有表hive> SHOW TABLES;按正条件(正则表达式)显示表,hi
2011-11-10 16:11:50
2289
转载 Hadoop Shell命令
Hadoop Shell命令: 转载于:http://blog.youkuaiyun.com/kankan_summer/article/details/5695987FS ShellcatchgrpchmodchowncopyFromLocalcopyToLocalcpdudusexpungegetgetmergelslsrmkd
2011-11-10 13:35:07
2095
转载 Hive vs HBase
Hive是為簡化編寫MapReduce程序而生的,使用MapReduce做過數據分析的人都知道,很多分析程序除業務邏輯不同外,程序流程基本一樣。在這種情況下,就需要Hive這樣的用戶編程接口。Hive本身不存儲和計算數據,它完全依賴於HDFS和MapReduce,Hive中的表純邏輯表,就是些表的定義等,也就是表的元數據。使用SQL實現Hive是因為SQL大家都熟悉,轉換成本低,類似作用的Pig就
2011-11-08 13:02:11
986
原创 hbase集群安装
hbase需要在hadoop安装成功的基础上来进行,现在我们的机器安装好了hadoophadoop安装:http://blog.youkuaiyun.com/codestinity/article/details/6936654首先安装zookeeper,注意下载的zookeeper版本需要与hadoop版本相对应(同样的,只需要在namenode端进行配置,配置好后发给datanode端即可):
2011-11-08 12:35:48
4424
转载 云计算时代:大数据泡沫正无限膨胀
转载:http://cloud.youkuaiyun.com/a/20111103/306923.html 在当今企业中80%的数据都是非结构化数据,这些数据每年都按指数增长60%。大数据将挑战企业的存储架构、数据中心的基础设施等,也会引发数据仓库、数据挖掘、商业智能、云计算等应用的连锁反应。未来企业会将更多的TB级(1TB=1024GB)数据集用于商务智能和商务分析。到2020年,全球数据使用
2011-11-06 13:48:32
1062
转载 Google真正的竞争力是什么
是搜索引擎? 是Gmail, Gmap, G-whatever? 当然,Google是靠搜索引擎起家的。它在这方面的品牌优势是目前谁也比不了的。但这真的是Google的优势么?为什么一个百度在中国就能比它更受欢迎呢? 老实说, 做网站谁不会啊, 尤其是放个文本框, 敲进去什么马上就能再回来一页,谁都会学。后台的技术也不见得有多深奥,所以百度能够提供和Google一样的服务和速度。 那么Goo
2011-11-06 13:45:19
976
转载 hadoop的Jobid
在hadoop的任务job中,jobid是标志一个任务的唯一标志,可以用于定位到该job,查询该job相关信息,kill掉该job 。jobId是如何生成的呢 ?在一般的服务集群上我们通过JobTracker来管理job,该id既是通过JobTracke的getNewJobId()方法得到,具体代码如下:public synchronized JobID getNewJobId()
2011-11-05 19:05:05
4821
原创 ubuntu10.04+hadoop0.20.2平台配置(完全分布式模式)
配置环境及有关工具:ubuntu10.04 、hadoop0.20.2 、 jdk1.6.0_29我们的机器有三台,一台当作namenode、两台当作datanode:namenode:IP:192.168.0.25、机器名:kiddenzj (这里的机器名要注意:机器名不能包含下划线“_”,一开始没注意后来找了半天才发现这个原因)datanode:IP:192.168.0.8 、机
2011-11-04 19:16:59
3895
转载 C++ sizeof short int long
C++标准规定,int占一个机器字长。在32位系统中int占32位,也就是4个字节,而在老式的16位系统中,int占16位,即2个字节。而C++标准中只限制规定short int不能超过int的长度,具体长度的可以由C++编译器的实现厂商自行决定。目前流行的32位C++编译器中,通常int占4字节,short int占2字节。其中short int可以简写为short。类似地,C++标准只限制了l
2011-10-26 19:41:54
1250
转载 C++
C++ split函数:#include #include #include #include int main() { std::string str = "1-56-89-52-41-56 "; std::vector result; boost::algorithm::split(result
2011-10-25 14:23:08
460
翻译 map、hash_map的一些介绍
1、map简介map是一类关联式容器。它的特点是增加和删除节点对迭代器的影响很小,除了那个操作节点,对其他的节点都没有什么影响。对于迭代器来说,可以修改实值,而不能修改key。2、map的功能 自动建立Key - value的对应。key 和 value可以是任意你需要的类型。 选择map容器,是为了更快的从关键字查找到相关的对象。与使用list这样的线性表容器相比,一可以简化查找
2011-10-24 20:09:36
1851
转载 C++ 实现内部类访问外部类
C++内部类的实现:class outclass{public: int m; class inclass//内部类通过parent指针访问外部类的成员,包括public、private { public: void set_m(int i) { outclass *parent = (outclass *) ((char*)this - offse
2011-10-23 19:23:59
10377
转载 Boost智能指针:shared_ptr
共享指针 (shared_ptr) 是现在的 Boost 库中提供的,并且应该是将来 C++1x 的标准库中提供的一个模板类。在此之前,ISO/IEC 14882:2003 标准库 中的“自动指针 (auto_ptr)”也有类似的功能。显然 shared_ptr 要比 auto_ptr 从功能上来说应该强大一些。这篇文章主要介绍 shared_ptr 的最基本用法和注意事项,相当于入门级多一点点
2011-10-23 19:03:43
11070
转载 从一道题谈C++中构造函数调用构造函数
详见这里点击查看原文1)在c++里,由于构造函数允许有默认参数,使得这种构造函数调用构造函数来重用代码的需求大为减少2)如果仅仅为了一个构造函数重用另一个构造函数的代码,那么完全可以把构造函数中的公共部分抽取出来定义一个成员函数(推荐为private),然后在每个需要这个代码的构造函数中调用该函数即可3)偶尔我们还是希望在类的构造函数里调用另一个构造函数,可以按下面方式做:
2011-10-23 16:55:21
677
原创 java内部类、静态内部类 小结
1)首先,用内部类是因为内部类与所在外部类有一定的关系,往往只有该外部类调用此内部类。所以没有必要专门用一个Java文件存放这个类。2)静态都是用来修饰类的内部成员的。比如静态方法,静态成员变量,静态常量。它唯一的作用就是随着类的加载(而不是随着对象的产生)而产生,以致可以用
2011-10-16 14:41:19
16545
1
转载 C++处理异常 try,catch,throw
异常处理的基本思想是简化程序的错误代码,为程序键壮性提供一个标准检测机制。也许我们已经使用过异常,但是你会是一种习惯吗,不要老是想着当我打开一个文件的时候才用异常判断一下,我知道对你来说你喜欢用return value或者是print error message来做,你想
2011-10-16 12:23:34
37656
1
转载 java的异常处理机制(try…catch…finally)
2.1 相关概念例外是在程序运行过程中发生的异常事件,比如除0溢出、数组越界、文件找不到等,这些事件的发生将阻止程序的正常运行。为了加强程序的鲁棒性,程序设计时,必须考虑到可能发生的异常事件并做出相应的处理。C语言中,通过使用if语句来判断是否出现了例外,同时,调用函数通
2011-10-16 11:42:13
3201
转载 为什么很多人都喜欢new一个类,而不是直接声明一个对象呢?
http://topic.youkuaiyun.com/t/20060503/12/4728749.html
2011-10-11 12:02:36
1221
转载 fstream的使用方法介绍
在C++中,有一个stream这个类,所有的I/O都以这个“流”类为基础的,包括我们要认识的文件I/O,stream这个类有两个重要的运算符:1、插入器( 向流输出数据。比如说系统有一个默认的标准输出流(cout),一般情况下就是指的显示器,所以,cout2、析取器
2011-10-11 11:27:01
927
转载 C++类中成员变量的初始化总结
1、普通的变量:一般不考虑啥效率的情况下 可以在构造函数中进行赋值。考虑一下效率的可以再构造函数的初始化列表中进行。 class CA{public:int data;……public:CA();……
2011-10-11 11:26:13
33988
转载 ICMP报文格式和种类
<br />关键字: icmp <br />--------------------------------格式-------------------------------------<br />各种ICMP报文的前32bits都是三个长度固定的字段:type类型字段(8位)、code代码字段(8位)、checksum校验和字段(16位)<br />8bits类型和8bits代码字段:一起决定了ICMP报文的类型。常见的有:<br /><br /> 类型8、代码0:回射请求。<br /><br />
2011-04-19 15:22:00
2025
转载 VC实现驱动程序的开发和编译的完整步骤
<br /><br />前提: DDK在安装后会自动创建一个环境变量%DDKROOT%(在我按照下面步骤进行后发现编译不成功,后来看了下系统的环境变量,发现没有%DDKROOT%这个,可能装DDK的时候有些问题吧,自己加上去就可以了)<br /> <br />1) 创建批处理文件 build.bat, 其代码如下:<br /> <br />//<--------------build.bat------------------<br />if "%1" == "" goto InvalidParameter
2011-04-17 18:36:00
1311
转载 驱动例程详解(-)
<br />大多数标准驱动程序例程及其使用的一些配置相关的对象是由 I/O 管理器定义。驱动程序对象是不透明的:只有定义的系统组件(这里是 I/O管理器)“知道”对象类型的内部结构,并能直接访问对象包含的所有数据。定义的系统组件通常输出支持例程,驱动程序和其他内核模式组件能调用它们以 操纵那些组件的对象。<br />内核模式驱动程序必须在它的驱动程序对象中定义下列的入口点: <br />所有的驱动程序必须有一个 DriverEntry 例程,,至少一个 Dispatch 例程,并且必须在其驱动程序对象中
2011-04-17 16:25:00
1570
转载 基于PassThru的NDIS中间层驱动程序扩展
<br /><br />概要:开发一个NDIS驱动是一项相对复杂的工作,这一方面是由于核心驱动本身有更多的限制和要求,有更多的“游戏规则”要求开发者理解和掌握,NDIS的复杂性把难度更是提高了,本文以PassThru为例,加上自己的理解,讲述了NDIS驱动的处理过程和在PassThru的基础上进行扩展的基本方法,本文并不是一个入门读物,所以没有提及任何核心驱动开发的相关知识,本文主要讲述的是NDIS中间层对数据包处理的流程。在阅读过程中,关于相关API的用法,或其它信息,请参看DDK文档。<br /><br
2011-04-17 12:58:00
934
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人