- 博客(23)
- 收藏
- 关注
RSS订阅
1原创 MapReduce流程
mapreduce必须构建在hdfs之上的一种大数据离线分布式计算框架切片split:在MapReduce中，执行Map之前，首先将输入文件按指定大小split切分成小片（是逻辑上的切片，而不是真正意义上的切分） 默认为128M，每切分一小片生成一个Map任务（即每读取文件128M产生一个Map任务），当最后一片与上一个切片大小加起来小于128*1.1时，则会这两片生成一个Map任务。执行MapTask：map默认从所属切片读取数据，每次读取一行（默认读取器）...
2022-05-26 20:55:47
505
原创 Hadoop理解
1、进程理解NameNode（NN）功能： 负责客户端请求的响应 保存文件元数据信息（文件的归属、文件的权限、文件的大小，时间、文件与block块间映射信息） 收集block块位置信息： 1、在系统启动时（NN不存储block与DN映射信息；在启动时，DN会向NN汇报block存储信息；NN在接收信息后重新生成映射关系：文件--block block--DN；如果数据块的副本数小于设置数，那么NN会将这个副本拷贝到其他节点 ） 2、在集群运行中（N...
2022-05-24 21:38:09
399
原创 Hadoop集群搭建
一、准备工作三台虚拟机：master、node1、node21、修改主机名vim /etc/hostname 三台主机分别修改相应主机名2、时间同步ntpdate ntp.aliyun.com3、调整时区cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime4、安装Java环境5、关闭防火墙关闭防火墙：systemctl stop firewalld查看防火墙状态：syste...
2022-05-22 20:34:34
339
原创 SQL练习和Java作业
1、有一个员工表dept_emp简况如下:emp_no dept_no from_date to_date 10001 d001 1986-06-26 9999-01-01 10002 d001 1996-08-03 9999-01-01 10003 d002 1995-12-03 9999-01-01 第一行表示为员工编号为10001的部门是d001部门。有一个部门经理表dept_manager简况如下:
2022-05-19 19:41:15
673
原创 Java操作Redis
1、引入依赖<!--引入jedis连接依赖--><dependency> <groupId>redis.clients</groupId> <artifactId>jedis</artifactId> <version>4.2.3</version></dependency> <dependency> <groupId>jun
2022-05-13 22:10:47
233
原创 Redis持久化机制
1、持久化机制redis是基于内存的NoSQL数据库持久化机制：将内存的数据存储到硬盘中 快照(Snapshot) AOF (Append Only File) 只追加日志文件 1.1、快照这种方式可以将某一时刻的所有数据都写入硬盘中,当然这也是redis的默认开启持久化方式,保存的文件是以.rdb形式结尾的文件因此这种方式也称之为RDB方式。快照生成方式：1、BGSAVE指令使用BGSAVE指令创建快照，redis会调用fork函数创建一个子进程将...
2022-05-13 19:51:25
192
原创 Redis数据库相关指令
1、Redis特点： Redis是一个高性能key/value内存型数据库 在redis中，所有的数据形式都是以键值对的方式来存储的 Redis支持丰富的数据类型 string,list,set,sorted set 指的是键值对中的值的类型 Redis支持持久化 持久化：将数据落盘，明天会详细说一说redis中的持久化 Redis单线程,单进程 由于是单线程和单进程的，所以它的线程是安全的，我们之前说的java中的多线程安全在分布式中不起作用，当时只针对一个JVM中是有
2022-05-12 21:13:55
276
原创 IDEA编写JDBC连接MySQL
1、IDEA导入jar包2、JDBC连接MySQL程序编写jdbc连接mysql，程序编写6个步骤： 1.注册驱动（告诉Java程序，即将连接的是哪个品牌的数据库） 2.获取连接（表示JVM的进程和数据库进程之间的通道打开了，这属于进程之间的通信，使用完后记得关闭通道）。 3.获取数据库操作对象（专门执行sql语句的对象） 4.执行SQL语句（DQL,DML…） 5.处理查询结果集 （只有当第四步执行的是sele...
2022-05-08 21:37:25
2939
原创 教师学生成绩选课4表查询练习
建表语句：/*1:建立学生表*/create table student (sno char(3) primary key,sname char(4),sgender char(2),sage int,sclass char(5));insert into student values('108','曾华','男',19,'95033');insert into student values('105','匡明','男',20,'95031');insert into student
2022-05-06 21:44:58
577
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人