大数据
关注
分享
扫一扫
cfyme
这个作者很懒，什么都没留下…
展开
-
大数据实用理论学习
学习散仙大神同学关于大数据知识，真是受益匪浅 学习转载地址：http://qindongliang.iteye.com/blog/2173091 随着大数据的爆红，数据分析师这个职位也得到了越来越多的关注，千千万万懂些大数据技术的少年们都渴望成为高大上的“大数据科学家”，可是，你们真的准备好了吗？ 1、最早的数据分析可能就报表 目前很多数据分析后的结果，展示的形式很多，...原创 2015-04-20 10:18:12 · 169 阅读 · 0 评论 -
Hadoop项目简介
Apache Hadoop项目简介 Core---- 一系列分布式文件系统和通用I/O的组件和接口（序列化、Java RPC和持久化数据结构） Avro---- 一种提供高效、跨语言PRC的数据序列化系统，持久化数据存储。 MapReduce----分布式数据处理模式和执行环境，运行于大型商用机集群； HDFS----分布式文件系统，运行于大型商用机集群； ZooKeeper...原创 2015-05-07 08:07:35 · 211 阅读 · 0 评论 -
社会化海量数据采集爬虫框架搭建
随着BIG DATA大数据概念逐渐升温，如何搭建一个能够采集海量数据的架构体系摆在大家眼前。如何能够做到所见即所得的无阻拦式采集、如何快速把不规则页面结构化并存储、如何满足越来越多的数据采集还要在有限时间内采集。这篇文章结合我们自身项目经验谈一下。 我们来看一下作为人是怎么获取网页数据的呢？ 1、打开浏览器，输入网址url访问页面内容。2、复制页面内容的标题、作者、内容。3、存储到文本文件或...原创 2015-05-11 00:13:55 · 162 阅读 · 0 评论 -
(转载)大数据杂谈
谈到大数据，让我想起了一个段子，说人们谈大数据就像青少年谈性爱，每个人都谈的头头是道，但都不知道对方说的是什么玩意，同时还要装做自己都听懂了。 好在这些曾经的青少年，有的也已经过了成人礼，或多或少的有了一些经验，没有了当初的青涩和懵懂，也没有当初那么健谈。 再说起大数据时，已经从最开始的狂热，逐步变得理性，或者有意地做理性的思考。 这不光是大数据，几乎所有的概念、技术出来都会经历这样...原创 2015-06-10 21:17:19 · 198 阅读 · 0 评论