- 博客(4)
- 收藏
- 关注
RSS订阅原创 固定格式编程汇总
固定套路编程总结 1.Hive UDF/UDTF/UDAF （1）导入依赖 //1.导入依赖 <dependencies> <dependency> <groupId>org.apache.hive</groupId> <artifactId>hive-exec</artifactId> <version>3.1.2</version> </dependency> </
2021-10-14 11:28:18
207
原创 大数据框架工作流程汇总
1、HDFS读写流程 ①写数据流程 1.客户端向NN请求上传文件 2.NN检查目标文件是否存在，父目录是否存在，并返回是否可以上传 3.客户端请求第一个Block上传到哪几个DN 4.NN返回3个DN节点，分别为dn1，dn2，dn3 5.客户端请求dn1上传数据，dn1收到请求会继续调用dn2，然后dn2调用dn3，将这个通信管道建立完成 6.dn1，dn2，dn3逐级应答客户端 7.客户端开始往 dn1 上传第一个 Block（先从磁盘读取数据放到一个本地内存缓存）， 以 Packet （64K）为单
2021-10-14 10:56:19
417
原创 Kafka bug 记录
Kafka bug 记录 问题描述： Kafka集群在运行时蓝屏，意外宕机。重启后Kafka会自动挂掉。 报错信息： [2021-09-28 20:21:52,487] WARN [RequestSendThread controllerId=0] Controller 0's connection to broker hadoop103:9092 (id: 1 rack: null) was unsuccessful (kafka.controller.RequestSendThread) java.io
2021-09-28 21:30:00
1313
原创 MySQL优化笔记
MySQL优化初探 注：①嫌麻烦直接看总结。 ②文章是直接从Typora导入的，格式没整理，直接看总结。 ③此为学习笔记，视频链接贴在文章末。 一.MySQL架构 1.MySQL简介 高级MySQL包括：MySQL内核、SQL优化工程师、MySQL服务器的优化、各种参数常量设定、查询语句优化、主从复制、软硬件升级、容灾备份、SQL编程。 2.MySQL配置文件 二进制文件 log-bin (主从复制) 错误日志 log-error 查询日志 log 数据文件 两种系统，其中frm文
2021-09-24 19:05:44
205
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人