
自我领悟
光明宇宙
叫光明宇宙的那个爱老婆的家伙
展开
-
java思考 接口解惑——即生活中的接口和程序中接口的区别
----------- android培训、java培训、java学习型技术博客、期待与您交流! ------------interface:接口,在java用来约定功能。我们学习接口的过程中,很多老师会用生活中的接口来类比程序中的接口,这样就导致了学习时会产生一些疑惑,下面就是对这些疑惑的解答。首先回答几个问题:1.程序中的接口指的是什么?2.生活中的接口指的是什么?原创 2013-04-08 01:55:37 · 1153 阅读 · 0 评论 -
java感悟 从文件到匿名对象 帮别人回答的答案
----------- android培训、java培训、java学习型技术博客、期待与您交流! ------------ 计算机怎么储存数据的?计算机是个二进制机器,我们知道电流具有磁效应,通过电路的开关可以改变一个小磁针的N极所指示的方向,这些都知道吧?如果不知道,真得滚去百度了!!!!通过磁盘,磁盘上的磁道中的小磁粒的不同指向,代表0和1,这里的一个0或1代表数据存储单位中的原创 2013-04-11 01:59:52 · 596 阅读 · 0 评论 -
做一个思考者系列之--编程这件事(手稿版)
编程这事,往大了说去,是很简单的一件事,就是给机器下命令而已。我们知道,我们生活所用的语言,是由笔画组合,组成文字,文字再组合,组成词语,词语再结合语法,组成句子,句子组成文章。有很明显的层级关系,是吧?想想我们所处的世界,由最简单的碳分子,到有机物,到单细胞,再到多细胞,再到动植物,最后就是我们五光十色的大千世界。同样有很明显的层级关系,对吧?根据层级关系,最底层的东东,原创 2013-11-08 16:16:33 · 878 阅读 · 1 评论 -
hadoop日志分析系统一 Hadoop的认识
Hadoop是一个分布式的大数据处理平台核心组成: HDFS分布式文件系统:高度容错的分布式文件存储系统MapReduce并行计算模型:一种计算的模型Common组件:hadoop的核心组件其它组件: HBase:高可靠性、高性能、面向列、可伸缩的分布式存储系统Hive:数据仓库Sqoop:结构化数据与hadoop管理的数据进行转换ZooKerp原创 2013-11-09 12:50:53 · 1056 阅读 · 0 评论 -
hadoop日志分析系统二 第二部分利用hadoop平台进行数据处理 第二中种方式 mapreduce方式
通过hbase处理hdfs储存的原始数据,根据明确的用户需求对hdfs中的数据进行二次处理,然后后进行储存和添加索引,便于用户查看具体实现:Hbase所创建的表的结构是固定的,表由行键、列族、列族中的具体的列组成因为任务调度有周期间隔,故其无法做到真正的实时查询所以hbase中的每条数据来自每次mapreduce的处理结果所以hbase添加数据的方式就是在每次的mapreduc原创 2013-11-09 12:57:48 · 816 阅读 · 0 评论 -
hadoop日志分析系统二 第二部分利用hadoop平台进行数据处理 第一种方式 mapreduce方式
直接通过mapreduce进行处理,把分析的结果存放到多个文件中,或者关系型数据库中去,以被用户查看具体实现:publicstaticvoid main(String[] args)throws Exception{ Job job = new Job(new Configuration(), HeiMaCount.class.getSimpleName());原创 2013-11-09 12:56:18 · 1303 阅读 · 0 评论 -
hadoop日志分析系统二 第二部分利用hadoop平台进行数据处理 第三种方式 hive+sqoop+zookeeper方式
Hive 是建立在 Hadoop 上的数据仓库基础构架。它提供了一系列的工具,可以用来进行数据提取转化加载(ETL),这是一种可以存储、查询和分析存储在 Hadoop 中的大规模数据的机制。Hive 定义了简单的类 SQL 查询语言,称为 QL ,它允许熟悉 SQL 的用户查询数据。同时,这个语言也允许熟悉 MapReduce 开发者的开发自定义的 mapper 和原创 2013-11-09 12:59:36 · 1342 阅读 · 1 评论 -
hadoop日志分析系统三 最终通过Web接口与用户交互
暂未实现,与传统javaEE项目并无太大区别原创 2013-11-09 13:01:36 · 1209 阅读 · 0 评论