文文x的博客

1.第一种方法 2.第二种方法 进入命令窗口（Win + R），连接数据库 mysql -hlocalhost -uroot -p，回车，输入密码，回车，如图： 继续输入 show variables like’%time_zone’; （注意不要漏掉后面的分号），回车，如图： 显示 SYSTEM 就是没有设置时区啦。 现在我们来设置时区。 输入set global time_zone = ‘+8:00’; 注意不要漏掉后面的分号），回车，如图： ...

1. job作业的体系结构 A. 一组MapReduce代表一个job作业，代表一次计算 B. job作业的来源一定是HDFS,最终结果保存到HDFS中 C. 在整个阶段中，Map和Reduce需要程序员手工编码 2. 各个阶段分析（WordCount-单词计数） ...

1. Hadoop引言 Hadoop是Apache软件基金会旗下的一个开源分布式计算平台。以Hadoop分布式文件系统（HDFS，Hadoop Distributed Filesystem）和MapReduce（Google MapReduce的开源实现）为核心的Hadoop为用户提供了系统底层细节透明的分布式基础架构。 对于Hadoop的集群来讲，可以分成两大类角色：Master和Slave。一个HDFS集群是由一个NameNode和若干个DataNode组成的。其中NameNode作为主服务器，管理文件

1.准备数据文件 aa.log(注意空格) wenxin xaiowen wangwu xiaowen xiaoxin wenxin xiaowen zhangshan lisi 2. 启动Hadoop集群 3. 将数据文件上传到HDFS文件系统中 [root@Cluster00 ~]# hdfs dfs -mkdir /wordcount [root@Cluster00 ~]# hdfs dfs -put aa.lpg /wordcount 3.开发MapReduce 引入相关依赖 <

1. 导入相关jar包 spring 相关jar包 mybatis 相关jar包 mysql 相关jar包 mybatis-spring （mybatis和spring整合jar包 2. 如何整合？整合思路？ spring：项目管理框架，主要用来对项目中组件对象进行创建，使用，销毁 ；核心即为组件对象的创建 mybatis：持久层框架，主要内部封装jdbc代码，用来简化jdbc对数据库访问；核心对象交给spring工厂 整合思路：将现有mybatis框架中核心对象交给spring管理，由spring接管

1. 工厂创建对象的次数 a. 默认Spring工厂在管理组件对象创建时，默认创建的是单例 b. 如何控制工厂创建对象的次数为多例： 注意：在bean标签中加入scope属性，用来控制spring工厂穿件对象的次数 scope属性的值：singleton 单例（dao service） prototype 多例(action) <?xml version="1.0" encoding="UTF-8"?> <beans xmlns="http://www.springframewo

1. 引入相关依赖（建议对maven配置阿里镜像） 关键jar包 <properties> <springframework.version>4.3.2.RELEASE</springframework.version> </properties> <dependencies> <dependency> <groupId>junit</groupId> &lt

**IOC定义：**控制反转实际上指的是控制权力的反转，具体指的是将原来项目中手动通过new关键字创建对象的权力交出来，交给spring（工厂），由工厂创建对象 DI：（Dependency Injection）依赖注入 语法：需要谁就将谁声明为成员变量并提供set方法，在工厂中使用property标签完成属性的注入 IOC和DI概念：将原有项目中手动通过new关键字创建对象的权力交给spring，由工厂去创建对象，spring框架不仅要创建对象还要在创建对象的同时维护类与类之间的依赖关系，因此在IOC基础

1. MapReduce 核心：Hadoop体系下一个编程模型（计算框架），主要是用来操作HDFS中存储数据并对HDFS中数据进行计算 2. Map+Reduce Map：用来对局部数据进行运算 局部运算 Reduce：对局部运算的结果做汇总运算 汇总运算 3. Yarn（统一资源调度器，任务资源管理器） a. 整合hadoop集群中资源（CPU，内存）进行统一调度。 比如：12核，1234G; 监控map和reduce的执行情况 b. Yarn=Resoucer

1.到官网下载hadoo安装到windows本地 地址 https://archive.apache.org/dist/hadoop/core/hadoop-2.7.3/hadoop-2.7.3.tar.gz 2. 解压 3. 进行设置环境变量 1）新建 HADOOP_HOME D:\Hadoop\hadoop-2.7.3\hadoop-2.7.3 2） Path中增加 %HADOOP_HOME%\bin 和 %HADOOP_HOME%\sbin 3）并且把hadoop.dll和win

1. 什么是大数据？ 对大量的数据集文件处理的过程，称之为大数据（TB级以上） 大量数据集：b—k---M—G---T—PB—EB—ZB 换算单位：1024 2. 为什么是大数据？ 通过对海量数据进行统计分析，从而在这些分析和统计过程中找出内在规律，从而伪国家和企业创造价值 3. 大数据特点？ 4v特征 1.Volume（大量） 数据集非常大 TB级以上||如果数据增长在每天/GB级 2.Variety（多样） 数据格式多样 非格式化：音频，视频 半结构：json，mongdb 3.Velocity（快

1. 集群原理 1- 所有的redis节点彼此互联(PING-PONG机制),内部使用二进制协议优化传输速度和带宽。 2 - 节点的fail是通过集群中超过半数的节点检测失效时才生效。 3 - 客户端与redis节点直连，不需要中间proxy层.客户端不需要连接集群所有节点,连接集群中任何一个可用节点即可。 4 - redis-cluster把所有的物理节点映射到[0-16383]slot上,cluster 负责维护node<-slpt<->value。 2. 集群搭建 1. 2

1. 哨兵（Sentinel）机制 哨兵机制是Redis的高可用性解决方案：由一个或者多个Sentinel实例组成的Sentinel系统可以监听任意多个主服务器，以及这些主服务器下的所有从服务器，并在被监听的主服务器进入下线状态时，自动将下线服务器属下的某个 从服务器升级为新的主服务器。简单的说，就是带有自动故障转移的主从架构。 2. Sentinel架构原理 3.搭建哨兵架构 新建sentinel目录： [root@Cluster-01 ~]# mkdir sentinel [root@Cluster-

1. 缓存优化策略 MD5算法，就是加密操作，怎样判断aa.txt与bb.txt 文件内容是否相同：MD5对文件进行加密操作，如果加密结果相同，则内容相同 2. 面试相关概念 （1）什么是缓存穿透（缓存击穿） 定义：客户端查询了一个数据库中没有的数据记录导致缓存在这种情况下无法利用，称之为缓存穿透 mybatis中cache解决了缓存穿透：将数据库中没有查询到的结果也进行缓存。 如果后期通过业务模块增加了没有的数据，缓存怎么处理：mybatis只有进行了增删改操作，就会自动清除缓存 （2）什么是缓存雪崩