文文x的博客

1.第一种方法2.第二种方法进入命令窗口（Win + R），连接数据库 mysql -hlocalhost -uroot -p，回车，输入密码，回车，如图：继续输入 show variables like’%time_zone’; （注意不要漏掉后面的分号），回车，如图：显示 SYSTEM 就是没有设置时区啦。现在我们来设置时区。输入set global time_zone = ‘+8:00’; 注意不要漏掉后面的分号），回车，如图：...

1. job作业的体系结构A. 一组MapReduce代表一个job作业，代表一次计算B. job作业的来源一定是HDFS,最终结果保存到HDFS中C. 在整个阶段中，Map和Reduce需要程序员手工编码2. 各个阶段分析（WordCount-单词计数）...

1. Hadoop引言Hadoop是Apache软件基金会旗下的一个开源分布式计算平台。以Hadoop分布式文件系统（HDFS，Hadoop Distributed Filesystem）和MapReduce（Google MapReduce的开源实现）为核心的Hadoop为用户提供了系统底层细节透明的分布式基础架构。对于Hadoop的集群来讲，可以分成两大类角色：Master和Slave。一个HDFS集群是由一个NameNode和若干个DataNode组成的。其中NameNode作为主服务器，管理文件

1.准备数据文件aa.log(注意空格)wenxin xaiowen wangwuxiaowen xiaoxin wenxinxiaowen zhangshan lisi2. 启动Hadoop集群3. 将数据文件上传到HDFS文件系统中[root@Cluster00 ~]# hdfs dfs -mkdir /wordcount[root@Cluster00 ~]# hdfs dfs -put aa.lpg /wordcount3.开发MapReduce引入相关依赖 <

1. 导入相关jar包spring 相关jar包mybatis 相关jar包mysql 相关jar包mybatis-spring （mybatis和spring整合jar包2. 如何整合？整合思路？spring：项目管理框架，主要用来对项目中组件对象进行创建，使用，销毁 ；核心即为组件对象的创建mybatis：持久层框架，主要内部封装jdbc代码，用来简化jdbc对数据库访问；核心对象交给spring工厂整合思路：将现有mybatis框架中核心对象交给spring管理，由spring接管

1. 工厂创建对象的次数a. 默认Spring工厂在管理组件对象创建时，默认创建的是单例b. 如何控制工厂创建对象的次数为多例：注意：在bean标签中加入scope属性，用来控制spring工厂穿件对象的次数scope属性的值：singleton 单例（dao service） prototype 多例(action)<?xml version="1.0" encoding="UTF-8"?><beans xmlns="http://www.springframewo

1. 引入相关依赖（建议对maven配置阿里镜像）关键jar包<properties> <springframework.version>4.3.2.RELEASE</springframework.version> </properties> <dependencies> <dependency> <groupId>junit</groupId> &lt

**IOC定义：**控制反转实际上指的是控制权力的反转，具体指的是将原来项目中手动通过new关键字创建对象的权力交出来，交给spring（工厂），由工厂创建对象DI：（Dependency Injection）依赖注入语法：需要谁就将谁声明为成员变量并提供set方法，在工厂中使用property标签完成属性的注入IOC和DI概念：将原有项目中手动通过new关键字创建对象的权力交给spring，由工厂去创建对象，spring框架不仅要创建对象还要在创建对象的同时维护类与类之间的依赖关系，因此在IOC基础

1. MapReduce核心：Hadoop体系下一个编程模型（计算框架），主要是用来操作HDFS中存储数据并对HDFS中数据进行计算2. Map+ReduceMap：用来对局部数据进行运算 局部运算Reduce：对局部运算的结果做汇总运算 汇总运算3. Yarn（统一资源调度器，任务资源管理器）a. 整合hadoop集群中资源（CPU，内存）进行统一调度。 比如：12核，1234G;监控map和reduce的执行情况b. Yarn=Resoucer

1.到官网下载hadoo安装到windows本地地址 https://archive.apache.org/dist/hadoop/core/hadoop-2.7.3/hadoop-2.7.3.tar.gz2. 解压3. 进行设置环境变量1）新建 HADOOP_HOME D:\Hadoop\hadoop-2.7.3\hadoop-2.7.32） Path中增加 %HADOOP_HOME%\bin 和 %HADOOP_HOME%\sbin3）并且把hadoop.dll和win

1. 什么是大数据？对大量的数据集文件处理的过程，称之为大数据（TB级以上）大量数据集：b—k---M—G---T—PB—EB—ZB 换算单位：10242. 为什么是大数据？通过对海量数据进行统计分析，从而在这些分析和统计过程中找出内在规律，从而伪国家和企业创造价值3. 大数据特点？4v特征1.Volume（大量） 数据集非常大 TB级以上||如果数据增长在每天/GB级2.Variety（多样） 数据格式多样 非格式化：音频，视频 半结构：json，mongdb3.Velocity（快

1. 集群原理1- 所有的redis节点彼此互联(PING-PONG机制),内部使用二进制协议优化传输速度和带宽。2 - 节点的fail是通过集群中超过半数的节点检测失效时才生效。3 - 客户端与redis节点直连，不需要中间proxy层.客户端不需要连接集群所有节点,连接集群中任何一个可用节点即可。4 - redis-cluster把所有的物理节点映射到[0-16383]slot上,cluster 负责维护node<-slpt<->value。2. 集群搭建1.2

1. 哨兵（Sentinel）机制哨兵机制是Redis的高可用性解决方案：由一个或者多个Sentinel实例组成的Sentinel系统可以监听任意多个主服务器，以及这些主服务器下的所有从服务器，并在被监听的主服务器进入下线状态时，自动将下线服务器属下的某个 从服务器升级为新的主服务器。简单的说，就是带有自动故障转移的主从架构。2. Sentinel架构原理3.搭建哨兵架构新建sentinel目录：[root@Cluster-01 ~]# mkdir sentinel[root@Cluster-

1. 缓存优化策略MD5算法，就是加密操作，怎样判断aa.txt与bb.txt文件内容是否相同：MD5对文件进行加密操作，如果加密结果相同，则内容相同2. 面试相关概念（1）什么是缓存穿透（缓存击穿）定义：客户端查询了一个数据库中没有的数据记录导致缓存在这种情况下无法利用，称之为缓存穿透mybatis中cache解决了缓存穿透：将数据库中没有查询到的结果也进行缓存。如果后期通过业务模块增加了没有的数据，缓存怎么处理：mybatis只有进行了增删改操作，就会自动清除缓存（2）什么是缓存雪崩