
大数据开发基础
文章平均质量分 59
报告掌观
这个作者很懒,什么都没留下…
展开
-
大数据基础(一)openmpi,mpich,mpi4py在ubuntu 16.04下的安装指南
安装mpi4py的方法直接pip install mpi4py不可取。需要安装以下依赖包:https://bitbucket.org/mpi4py/mpi4py/srcDependenciesPython 2.6, 2.7, 3.2 or above, or PyPy 2.0 or above.A functional MPI 1.x/2.x/3.x impleme原创 2016-04-17 00:20:36 · 7458 阅读 · 0 评论 -
大数据基础(二)hadoop, mave, hbase, hive, sqoop在ubuntu 14.04.04下的安装和sqoop与hdfs,hive,mysql导入导出
mave, hbase, hive, sqoop在hadoop2.6 ubuntu 14.04.04下的安装2016.05.15本文测试环境:hadoop2.6.2 ubuntu 14.04.04 amd64 jdk1.8另外,本文参考了一些文章,基本上都有原文链接。前提:hadoop安装:参考:http://blog.youkuaiyun.com/xanxus46/article原创 2016-05-15 21:10:59 · 2046 阅读 · 0 评论 -
大数据基础(三)Ubuntu下基于Hadoop 2.6.2的Mahout 0.12.1安装和使用
Ubuntu下基于Hadoop 2.6.2的Mahout 0.12.1安装和使用环境:Ubuntu Server 14.04.04 amd64 Hadoop 2.6.2 参考:http://itindex.net/detail/49323-mahout-%E5%AD%A6%E4%B9%A0-mahout新版的配置有略微改动1、下载http://mirror.bi原创 2016-06-04 14:01:21 · 3274 阅读 · 1 评论 -
大数据基础(六) Matlab R2015b MDCE分布式计算环境搭建
环境:ubuntu desktop 14.04.04 x64jdk 1.7安装步骤如下:参考:http://www.jianshu.com/p/f0cefc737dda1.sudo mkdir -p /mnt/tmpsudo mount -t iso9660 -o loop /server/matlab/R2015b_glnxa64.iso /mnt/tmp2.cd原创 2016-07-25 21:50:21 · 5051 阅读 · 0 评论 -
大数据基础(五)从零开始安装配置Hadoop 2.7.2+Spark 2.0.0到Ubuntu 16.04
从零开始安装配置Hadoop 2.7.2+Spark 1.6.20 install ubuntu 14.04.01 desktop x641 system基础配置《以下都是root模式》1.3 root passwordsudo passwd root1.5 root登录选项a.在terminal下输入:vi /usr/share/lightdm原创 2016-07-25 21:43:56 · 6260 阅读 · 0 评论 -
大数据基础(八) Spark 2.0.0下IPython和Notebook的安装配置
环境:spark 2.0.0,anaconda2如果装有Anaconda 就可以直接如下方式获得IPython界面的登陆,没有装Anaconda的参考最下边的链接自行安装ipython相关包。vi ~/.bashrcexport PYSPARK_DRIVER_PYTHON=ipythonexport PYSPARK_DRIVER_PYTHON_OPTS="notebook --原创 2016-08-03 21:48:37 · 3782 阅读 · 0 评论 -
大数据基础(七) Ubuntu 14.04安装MySQL 5.7.14
Ubuntu 14.04安装MySQL5.7.14以下默认root账户,sudo可以省略1.下载集成包bundlehttp://dev.mysql.com/downloads/file/?id=464486http://dev.mysql.com/get/Downloads/MySQL-5.7/mysql-server_5.7.14-1ubuntu14.04_amd64.d原创 2016-08-01 11:42:13 · 3046 阅读 · 0 评论 -
大数据基础(九)Maven构建Hadoop日志清洗项目(一)
Maven Hadoop日志清洗项目(一)参考:Maven Hadoop:http://www.cnblogs.com/Leo_wl/p/4862820.htmlhttp://blog.youkuaiyun.com/kongxx/article/details/42339581日志清洗:http://www.cnblogs.com/edisonchou/p/445821原创 2016-08-13 19:12:12 · 2519 阅读 · 0 评论 -
大数据基础(十)Maven构建Hadoop日志清洗项目(二)
Maven Hadoop日志清洗项目(二)Hadoop 2.7.2 Hive 2.1.0 Sqoop 1.4.6参考:http://www.cnblogs.com/edisonchou/p/4464349.html1、将HDFS中清洗好的文件入库hive为了能够借助Hive进行统计分析,首先我们需要将清洗后的数据存入Hive中,那原创 2016-08-13 22:19:11 · 1589 阅读 · 0 评论