karwik的博客

早在大数据概念出现以前就存在了各种各样的关于数学、统计学、算法、编程语言的研究、讨论和实践。这个时代，算法以及各种数学知识作为建筑的原料(比如钢筋、砖块)，编程语言作为粘合剂(比如水泥)构成了一座座小房子(比如一个应用程序)，形成了一小片一小片的村庄(比如一台服务器)。这个时代村与村之间还没有高速公路(GFS, HDFS, Flume, Kafka等)，只有一条泥泞不好走的土路(比如RPC)，经济

1.安装JDK1.8到oracle官网：http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.htmllinux是64位的，安装jdk-8u131-linux-x64.tar.gz 安装及配置参考http://blog.youkuaiyun.com/rchm8519/article/de

实现主机间SSH无密登陆的步骤及原理，参考：http://www.ruanyifeng.com/blog/2011/12/ssh_remote_login.htmlhttp://blog.youkuaiyun.com/zhaihaifei/article/details/50523576自己复述一遍过程吧：例如我要用A无密访问B,C,D...等机器，那么我就先使用A生成密钥 ssh

curl -O http://downloads.mongodb.org/linux/mongodb-linux-x86_64-latest.tgz?_ga=2.203685907.2005591995.1522833621-772625683.1520840379 # 下载tar -zxvf mongodb-linux-x86_64-latest.tgz?_ga=2.203685907.2...

阿里腾讯云 hadoop+spark集群搭建（1）linux版本： centos7hadoop版本： 3.1.1手上有三台学生机，完全没动过的：一台是阿里云服务器，两台是腾讯云。用阿里云做namenode，腾讯云做datanode。目标是搭好hdfs和yarn，后面搭spark和hive。 更新和下载软件包。安装jdk 版本为1.8.0 $ sudo yum -y ...

阿里腾讯云 hadoop+spark集群搭建（2）linux版本： centos7hadoop版本： 3.1.1spark版本： 2.3.2在1中已经搭建好了hadoop，接下来就是spark。为方便起见，用shell脚本完成下载spark、hive（后面再搭，先把spark跑起来）的操作。download_file.sh------------------------------...