
大数据
Darkness303
爱科学,爱祖国!!
展开
-
安装Python_Django
安装jdk:mkdir /usr/local/java --新建文件夹 2. cp jdk-7u75-linux-x64.tar.gz /usr/local/java --复制文件夹到新建目录-------------------------------------------------------------------------原创 2017-08-18 14:59:23 · 385 阅读 · 0 评论 -
使用lrzsz工具和 bec-cli工具在百度云下载数据
BCE-CLI-0.10.3工具安装:安装该工具,前提是必须已经安装Python(安装过程请参考,之前的“Django安装与连接数据库”文件)。BCE-CLI 工具下载链接:https://cloud.baidu.com/doc/Downloadcenter/CLI.html (选择Linux版本)。将下载好的bce-cli 工具上传到服务器。原创 2017-08-18 15:46:48 · 618 阅读 · 0 评论 -
Ubuntu下搭建spark集群开发环境
之前在windows下搭建了一个spark的开发环境,但是后来发现如果想要搞spark streaming的例子的话在Linux下使用更方便,于是在Ubuntu下面搭建一下spark开发环境,记录以做备忘之用。1 .首先去spark官网下载相关软件,我这里用的是spark2.1.0版本http://spark.apache.org/downloads.html,对应的hadoop版本是2.7.原创 2017-10-23 12:10:24 · 1928 阅读 · 0 评论 -
hadoop-2.7.4完全分布式集群部署 外加测试例子mapreduce
更改系统时区(将时间同步更改为北京时间)xiaolei@hadoop1:~$ dateWed Oct 26 02:42:08 PDT 2017xiaolei@hadoop1:~$ sudo tzselect根据提示选择Asia China Beijing Time yes最后将Asia/Shanghai shell scripts 复制到/etc/localtimexiaolei@h...原创 2017-09-01 13:20:04 · 762 阅读 · 0 评论 -
在Linux 中安装hive数据仓库
hive正是实现了这个,hive是要类SQL语句(HiveQL)来实现对hadoop下的数据管理。hive属于数据仓库的范畴,那么,数据库和数据仓库到底有什么区别了,这里简单说明一下:数据库侧重于OLTP(在线事务处理),数据仓库侧重OLAP(在线分析处理);首先确定 已经安装好了hadoop集群!在linux安装mysql 在命令行输入:(如果下载速度很慢,可以更改下载源,详情...原创 2018-08-03 20:57:45 · 2450 阅读 · 0 评论