
BigData
大牛笔记
这个作者很懒,什么都没留下…
展开
-
查询MYSQL和查询HBASE速度比较
Mysql,关系型数据库; HBase,NoSql数据库。 查询Mysql和查询HBase,到底哪个速度快呢? 与一些真正的大牛讨论时,他们说HBase写入速度,可以达到每秒1W。而HBase的理想速度为每秒10W。 来个实验说明一下,此实验只能表明,当前环境下运行状态。我的实验效果,没有到1W,还在优化中…原创 2014-12-01 14:36:17 · 6012 阅读 · 1 评论 -
【Linux】VirtualBox安装ubuntu排错LowGraphic
在Oracle的VirtualBox虚拟机上,安装Ubuntu后,提示了如下图这样的 错误 The system is running in low-graphics mode 在网上搜,有多种解答方法。一个一个试了试。结果按如下操作,解决了这个问题。 按ctrl + alt + F1 进入console窗口; 输入如下命令: 1 sudo apt-get install fgl原创 2014-01-22 11:40:47 · 1662 阅读 · 0 评论 -
【Hadoop】大数据时代,我们为什么使用hadoop
我们先来看看大数据时代, 什么叫大数据,“大”,说的并不仅是数据的“多”!不能用数据到了多少TB ,多少PB 来说。 对于大数据,可以用四个词来表示:大量,多样,实时,不确定。 也就是数据的量庞大,数据的种类繁杂多样话,数据的变化飞快,数据的真假存疑。 大量:这个大家都知道,想百度,淘宝,腾讯,Facebook,Twitter等网站上的一些信息,这肯定算是大数据了,都要存储原创 2013-11-04 15:56:32 · 3770 阅读 · 0 评论 -
【Hadoop】搭建完全分布式的hadoop
用于测试,我用4台虚拟机搭建成了hadoop结构 我用了两个台式机。一个xp系统,一个win7系统。每台电脑装两个虚拟机,要不然内存就满了。 1、安装虚拟机环境 Vmware,收费产品,占内存较大。 或 Oracle的VirtualBox,开源产品,占内存较小,但安装ubuntu过程中,重启会出错。 我选Vmware。 2、安装操作系原创 2013-11-13 15:36:58 · 8422 阅读 · 7 评论 -
【Linux】Linux 标准目录结构
初学Linux,首先需要弄清Linux 标准目录结构 / root --- 启动Linux时使用的一些核心文件。如操作系统内核、引导程序Grub等。 home --- 存储普通用户的个人文件 ftp --- 用户所有服务 httpd samba user1 user2 bin --- 系统启动时需要的执行文件(二进制) sbin ---转载 2013-11-06 10:01:24 · 1215 阅读 · 0 评论 -
【Hadoop】Win7上搭建Hadoop开发环境,方法一
在Win7上,编写hadoop程序 操作系统:win7 hadoop版本:CDH3u6 1、下载安装JDK,以及Eclipse 具体看此链接:http://blog.youkuaiyun.com/weixuehao/article/details/17715793 2、新建JAVA Project 3、去cloudera网站下载hadoop的CDH3u6版本。将起解压到win原创 2013-12-31 16:30:06 · 3146 阅读 · 0 评论 -
【JAVA】配置JAVA环境变量,安装Eclipse
Java程序依赖JDK,就像C#程序依赖.NetFrameWork一样。 所以在开发之前,必须在win7或者是linux上,安装jdk(JavaDevelopkit)里面包括java一些工具,还有JRE(JavaRuntimeEnvironment)Java运行环境。 系统:windows7 jdk版本:jdk1.7 安装路径:c:/java 安装JDK时,上图显示的公共JRE原创 2013-12-31 15:41:00 · 5925 阅读 · 0 评论 -
【Hadoop】HDFS的运行原理
简介 HDFS(Hadoop Distributed File System )Hadoop分布式文件系统。是根据google发表的论文翻版的。论文为GFS(Google File System)Google 文件系统(中文,英文)。 HDFS有很多特点: ① 保存多个副本,且提供容错机制,副本丢失或宕机自动恢复。默认存3份。 ② 运行在廉价的机器上。 ③ 适合大原创 2013-11-26 16:58:29 · 11720 阅读 · 8 评论 -
【Hadoop】用web查看hadoop运行状态
上一篇文章(去博客园,去优快云),我们安装完hadoop,下面我们从视觉上看看hadoop怎么玩的。 我们可以在win7系统上,通过web界面,在浏览器地址栏输入地址,直接查看hadoop的运行情况; 10.10.11.191:50030 这个里面,我们可以看到Map/Reduce的管理情况 10.10.11.191:50070 这里可以看到HDFS的管理情原创 2013-11-20 17:34:53 · 10781 阅读 · 2 评论 -
中间件Phoenix实现用SQL查询HBase
文章来源:大牛笔记 HBase,一个NoSQL数据库,可存储大量非关系型数据。 HBase,可以用HBase shell进行操作,也可以用HBase Java api进行操作。HBase虽然是一个数据库,但是它的查询语句,很不太好用。要是能像使用Mysql等关系型数据库一样用sql语句操作HBase,那就很Perfect了。 现有工具有很多Hive,Tez,Impala,Shar原创 2014-12-02 12:51:27 · 5400 阅读 · 0 评论