
大数据
迅800
这个作者很懒,什么都没留下…
展开
-
Thrift 操作 Hbase
1.Hbase对于非java语言提供了thrift接口支持 2.原创 2014-08-22 14:07:15 · 1002 阅读 · 0 评论 -
hbase学习
http://courses.coreservlets.com/Course-Materials/pdf/hadoop/03-HBase_2-InstallationAndShell.pdf转载 2014-09-25 19:00:04 · 425 阅读 · 0 评论 -
欢迎使用优快云-markdown编辑器
Hadoop HDFS实践攻略理论部分: HDFS 基本原理 文件读取、写入机制 元数据管理思路 实践部分: 安装实践环境 Shell 命令行操作方式 Java API操作方式 HDFS基本原理1. HDFS的解决思路 HDFS(Hadoop Distribute File System)是一个分布式文件系统,是Hadoop的重要成员。 HDFS是个抽象层,底层依赖很多独立的服务器,对外提供统一原创 2017-05-23 15:17:39 · 260 阅读 · 0 评论 -
Hadoop和大数据开源工具推荐
## Hadoop相关工具转载 2017-05-23 16:20:17 · 492 阅读 · 0 评论 -
hadoop + zookeeper 安装部署
1. 网络配置 1.1 查看当前机器名称 #hostname 1.2 修改当前机器名称 1.3 修改当前机器IP 1.4 配置hosts文件(必须) 192.168.3.111 hadoopserver01 192.168.3.112 hadoopserver02 192.168.3.113 hadoopserver03 1原创 2017-05-15 20:31:43 · 800 阅读 · 0 评论 -
聚类算法
聚类算法聚类算法属于机器学习或数据挖掘领域内,原创 2017-05-27 14:08:19 · 1190 阅读 · 0 评论 -
大数据的六大规则
大数据的六大规则大数据包括结构化数据(Structured Data)和非结构化数据(Unstructured Data)。1. 在早期阶段,先建立数据灯塔再考虑大数据不要花24个月搭建海量的大数据环境,后期再发现这是你最大的错误。可以相当快开始采集数据、建立非完善的数据仓库和做数据分析。这种组建可称为数据灯塔,先关注三大趋势: - 发现以前未知的走势或关键驱动因素 - 摸索异常的记录 - 理转载 2017-05-27 15:52:59 · 3763 阅读 · 0 评论 -
Hadoop Storm Spark比较
Hadoop Hadoop是磁盘级计算,进行计算时,数据在磁盘上,需要读写磁盘;Hadoop M/R基于HDFS,需要切分输入数据、产生中间数据文件、排序、数据压缩、多份复制等,效率较低。假设利用hadoop,则需要先存入hdfs,按每一分钟切一个文件的粒度来算(这个粒度已经极端的细了,再小的话hdfs上会一堆小文件),hadoop开始计算时,1分钟已经过去了,然后再开始调度任务又花了一分钟,然后作原创 2017-05-31 10:16:06 · 545 阅读 · 0 评论