weixin_43379812的博客

转载 spark的安装和配置

一、配置local单机模式（spark1中，解压即可用）1.上传至linux（以spark-1.6.1-bin-hadoop2.6.tgz为例）2.解压jar 包[root@spark1 soft]# tar -zxvf spark-1.6.1-bin-hadoop2.6.tgz3.测试[root@spark1 spark-1.6....

原创 Hive

hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供完整的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。另外一个是Windows注册表文件。设计特征Hive 是一种底层封装了Had...

原创 Linux系统安装NoSQL

一、MongoDB1、MongoDB安装（1）将安装包mongodb-linux-i686-3.0.2.tgz拷贝到要安装的服务器中这里我用的rz命令，如果不支持需要安装yum -y install lrzsz（2）解压安装程序 tar xzvf mongodb-linux-i686-3.0.2.tgz（3）进入目录：/usr/local/ 创建文件夹 mkdir mongod...

原创 Habace

HBase安装配置解压及安装将压缩包从Windows传输到Linux当前目录下:解压安装到指定目录下/opt/module配置环境变量在/etc/profile文件里添加HBase及zookeeper安装路径的配置信息source /etc/profile配置生效（基于上一个文档增加的内容）测试HBase安装成功，命令hbase versio...

原创 MapReduce 分布式计算系统

原创 配置HDFS

Linux的shell命令常用的linux的shell命令：cd /aa转到/aa目录pws 显示当前目录ll /aa 显示/aa目录mkdir /aa 新建/aa目录rm /aa/out.txt删除/aa目录下的out.txt文件cat /aa/out.txt查看/aa目录下的out...

原创 Hadoop伪分布式、完全分布式搭建和测试

准备软件版本（1）JDK（2）Hadoop（3）CentOS集群规划下面搭建三种模式的Hadoop集群，各个模式的集群具体划分如下：（1）本地模式（Local Mode）主机名 IP地址 Hadoop节点名称bigdata111 192.168.189.111 无（2）伪分布式模式（Pseudo-Distributed M...

原创 爬虫软件使用

八爪鱼爬虫软件使用

转载 大数据入门：各种大数据技术介绍

转自：http://www.aboutyun.com/thread-7569-1-1.html大数据我们都知道hadoop，可是还会各种各样的技术进入我们的视野：Spark，Storm，impala，让我们都反映不过来。为了能够更好的架构大数据项目，这里整理一下，供技术人员，项目经理，架构师选择合适的技术，了解大数据各种技术之间的关系，选择合适的语言。我们可以带着下面问题来阅读本文章：1.h...