Mr-让梦冬眠

ElasticSearch（windows）安装1.下载windows版本下载解压2. 双击bin目录下的elasticsearch.bat启动成功3.访问http://127.0.0.1:9200/![在这里插入图片描述](https://img-blog.csdnimg.cn/b9eed4bea9734b7794744d013f5e8c5c.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA

•          概述•          安装•          结构与原理•          应用场景•          Zookeeper rmi高可用实现•          基于zookeeper•  redis高可用实现需求分析什么是Zookeeper    » Zookeeper 是 Google 的 Chubby一个开源的实现，是 Hadoop 的分布式协调服务    »...

System.setProperty("HADOOP_USER_NAME", "root");1、MR执行环境有两种：本地测试环境，服务器环境 本地测试环境(windows)： 在windows的hadoop目录bin目录有一个winutils.exe 1、在windows下配置hadoop的环境变量 2、拷贝debug工具(winutils.exe)到HADOOP_HOME/bin 3、修改ha...

Hadoop入门配置 主从机构         主：jobtracker    从：tasktracker四个阶段：1、  Split2、  Mapper：key-value（对象）3、  Shufflea)        分区（partition，HashPartition：根据key的hashcode值 和 Reduce的数量 模运算），可以自定义分区，运算速度要快。一定要解决数据倾斜和red...

HighAvailable 1、 需要心跳机制探测后端RS是否提供服务。a)     探测down，需要从lvs中删除该RSb)     探测发送从down到up，需要从lvs中再次添加RS。2、 Lvs DR，需要主从（HA） Keepalived : 提供高可用         ｖｒｒｐ协议，实现ＩＰ的漂移Zookeeper：         选举、心跳机制提供接管 Keepalived安装：...

Linux Virtual ServerIpvs : 嵌入到linux的内核IPVsadm：管理应用程序 负载均衡器1、硬件:                   F5BIG-IP                    CitrixNetScaler                   A10         2、软件                   四层：tcp 之上的第四层协议      ...

Apache 和 nginx（web服务器）1、  多台集群机器联合处理一个任务。2、  一台机器处理不同的多个任务。特点：         处理静态数据速度快（自动html静态数据的缓存）         并发数一般要比J2EE服务器要高。安装apache：         1、简单安装：yum install httpd         2、源码安装                   1、安...

NginxNginx ("engine x") 是一个高性能的 HTTP 和 反向代理 服务器，也是一个 IMAP/POP3/SMTP 代理服务器。第一个公开版本0.1.0发布于2004年10月4日。其将源代码以类BSD许可证的形式发布，因它的稳定性、丰富的功能集、示例配置文件和低系统资源的消耗而闻名。2011年6月1日，nginx 1.0.4发布。Nginx是一款轻量级的Web 服务器/反向代理...

Spark中RDD的常用操作（Python）弹性分布式数据集（RDD）        Spark是以RDD概念为中心运行的。RDD是一个容错的、可以被并行操作的元素集合。创建一个RDD有两个方法：在你的驱动程序中并行化一个已经存在的集合；从外部存储系统中引用一个数据集。RDD的一大特性是分布式存储，分布式存储在最大的好处是可以让数据在不同工作节点并行存储，以便在需要数据时并

#!/usr/bin/python# -*- coding: UTF-8 -*-'''初始化SparkConf, SparkContext从pyspark 导入SparkConf, SparkContext'''from pyspark import SparkConf, SparkContextconf = SparkConf().setMaster("local").setAp

转化操作map(func) | 返回一个新的分布数据集，由原数据集元素经func处理后的结果组成filter(func) | 返回一个新的数据集，由传给func返回True的原数据集元素组成flatMap(func) | 与map类似，但是每个传入元素可能有0或多个返回值，func可以返回一个序列而不是一个值mapParitions(func) | 类似map，但是RDD的每个分片

core-site.xml:     hadoop.tmp.dir   /home/hadoop/tmp   true         fs.default.name   hdfs://192.168.10.101:9000  true          io.file.buffer.size    131072