- 博客(6)
- 收藏
- 关注
RSS订阅原创 Spark 及其生态圈
背景产生于加州大学伯克利分校AMP实验室，2013年6月成为Apache成为孵化项目，Spark使用Scala语言进行实现，Scala 建立在JAVA之上设计理念 ：改善 MAP REDUCE 的弱点： 交互式和迭代式 ，在集群多点内存中运行的分布式计算 ，容错数据集合，DAG为什么用SPARK先进的大数据分布式编程和计算框架 试图替代HADOOP (SPARK 可以独立于HADOOP) 内存分
2017-12-13 15:35:14
745
原创 zookeeper分布式协调服务
分布式协调技术随着发展我们在一台机器上运行的程序任务越来越重，资源请求越来越大，根据不同的情况主要有如下的解决方案一个是负载技术，一个是分布式技术 负载技术：主要解决资源使用压力 分布式技术：主要是把应用任务横向切分，跑在不同的机器上通过rpc协作为外部提供整体服务。 在以上的技术中主要面临的问题有：1，数据同步，2，分布式进程协作 zookeeper是其中一种可以为上述问题提供有效的解决方
2017-08-14 14:40:23
1285
原创 centos7 搭建ha(高可用)hadoop2.7.3集群
写在前面作为一个单体应用开发人员对于理解分布式应用和微服务的理论还可以。但是部署分布式环境来说还是一个挑战。最近在学习hadoop，正也把学习的东西分享出来，希望帮助感兴趣的人。 前面一章写了centos7搭建hadoop集群 再跟着做本章实验前建议初学者先去实验上一章的内容。有任何问题欢迎反馈，我也好做出修改。 ha(高可用)hadoop2.7.3集群,主要是为了消除spof(单点故障)，解
2017-06-29 10:51:05
3634
1原创 centos7 源码安装git 和使用git
先期准备 vmware centos7 xshell xftp 安装下载上传解压下载git 使用xshell连接centos7 点击xftp,如图 上传git-2.13.1.tar.gz到centos7的主题目录中。如图 通过xshell终端，执行解压tar -xzvf git-2.13.1.tar.gz编译安装环境变量设置安装编译环境,注意要使用管理员权限，使用 su yum
2017-06-17 15:34:30
2275
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人