- 博客(31)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 Hadoop 中问答题
当客户端对HDFS中的文件进行新增或者修改操作，操作记录首先被记入edits日志文件中，当客户端操作成功后，相应的元数据会更新到内存元数据中。fsimage和edits文件都是经过序列化的，在NameNode启动的时候，它会将fsimage文件中的内容加载到内存中，之后再执行edits文件中的各项操作，使得内存中的元数据和实际的同步，存在内存中的元数据支持客户端的读操作，也是最完整的元数据。（5）如果没有获取到所有的切片信息，再与距离最近其他切片副本所在的datanode建立通信通道，获取该节点的切片。
2023-06-30 17:20:18
522
原创 hadoop集群启停脚本（包含hdfs，yarn，historyserver）
【代码】hadoop集群启停脚本（包含hdfs，yarn，historyserver）
2023-06-25 16:20:21
211
原创 Hadoop阶段-面试
简单的描述，MR程序执行先从InputFormat类说起，由InputFormat负责数据读入，并在内部实现切片，每一个切片的数据对应生成一个MapTask任务，MapTask中按照文件的行逐行数据进行处理，每一行数据会调用一次我们自定义的Mapper类的map方法，map方法内部实现具体的业务逻辑，处理完数据会通过context对象将数据写出到磁盘（此处会经历Shuffle过程，详情请参考下面第七问！！！
2023-06-25 11:18:52
135
1
原创 git修改本地和远程分支名称
进入控制面板》用户账号》凭据管理器？windows凭据》普通凭据，在里面找到git，点开编辑密码，更新为最新密码之后就可以正常操作了。此时删除可能会抛出 remote HTTP Basic :Access denied。原因：本地git配置的用户名、密码与gitlabs上注册的用户名、密码不一致。4 设置本地与远程分支关联`1.重命名本地分支名`3.推送当前分支到远程。
2023-05-19 11:01:27
1074
原创 The column index is out of range 10，number of colums: 9
The column index is out of range 10，number of colums: 9
2023-02-24 16:28:00
1468
1
原创 前端请求 报错413的问题
因为项目中合同的照片和人脸照片已base64 传到后端的，后端把合同照片进行转成图片保存。因为nginx默认是大小为1M ，实际前端传过来的大小超过1M ，所以会报413。在win 10环境下测试的nginx到nginx官网上下载相应的安装包，http://nginx.org/en/download.html；进行下载解压文件进入window的cmd窗口，进入到nginx目录（D:\develp\nginx-1.20.2），使用“start nginx.exe ”进行nginx的安装。安装
2022-01-21 14:37:52
6452
原创 win 关闭指定的端口
netstat -ano|findstr 18090查找指定的端口的进程号PIDtaskkill /pid 5168 -t -f杀死指定的进程号PID
2021-11-18 15:53:13
212
原创 从Excel中批量读取数据
pom 文件<!--Excel工具--><dependency> <groupId>org.apache.poi</groupId> <artifactId>poi</artifactId> <version>4.1.0</version></dependency><dependency> <groupId>org.apache.poi&
2021-11-10 10:00:32
525
原创 mysql查询某一天的数据
SELECT count(*) FROM person WHERE createTime between ‘2021-09-30 00:00:00’ and ‘2021-09-30 23:59:59’SELECT * FROM person WHERE createTime between ‘2021-09-28 00:00:00’ and ‘2021-09-28 23:59:59’
2021-11-03 11:10:27
500
原创 增加数据后要求返回自增字段的id
增加数据后要求返回自增字段的id在mybatis的sql语句中加入KeyProperty="id" UseGeneratedKeys="true"
2021-08-17 23:10:05
109
原创 对图片base64加密
/** * 将图片的byte字节转成base64字符串 * @param imageInByte * @return */ public static String GetImageStr(byte[] imageInByte){ //对字节数组Base64编码 BASE64Encoder encoder = new BASE64Encoder(); String encode = encoder.enco.
2021-07-19 10:10:59
2446
原创 对返回图片的url地址给进行隐藏的思路和解决方法
一. 思路1. 首先是对返回图片的图片 后端进行权限校验 ，如果需要打码的人，则对图片进行打马赛克。不需要的则直接吧图片进行转成base64给进行加码传给前端。需要对图片进行打码的则直接对图片进行打码，再base64加密。二.代码实现逻辑首先对网络上的图片转成字节流/** * 根据地址获得数据的字节流 * * @param strUrl 网络连接地址 * @return */public static byte[] getImageFromNetByUrl(String strUrl
2021-07-19 10:05:41
1393
原创 bootstrap 按钮的几种颜色属性 和表格右侧的操作选项
bootstrap 按钮的7种颜色属性分别是白色，浅蓝色，深蓝色，绿色，黄色，红色，黑色。对应的class为btn,（白色）btn btn-primary,（浅蓝色）btn btn-info,（深蓝色）btn btn-success,（绿色）btn btn-warning,（黄色）btn btn-danger,（红色）btn btn-inverse（黑色）Bootstrap Table 列参数columns使用总结 columns: [{ field: 'rem
2021-02-03 18:20:24
8799
原创 mysql语句总结
create创建数据库： create database db1创建数据库表：create table table1(列名1 数据类型1,列名2 数据类型2,…列名n 数据类型n);创建视图： CREATE VIEW city_country AS SELECT t1.*,t2.country_name FROM city t1,country t2 WHERE t1.cid=t2.id;创建存储过程：DELIMITER $CREATE PROCEDURE 存储过程名..
2021-02-03 16:11:01
98
原创 MYSQL 中数据类型和mybatis中的（jdbcType=****）数据类型的对应关系
MYSQL 中数据类型和mybatis中的（jdbcType=****）数据类型的对应关系常用的数据类型的映射表日期时间和对大对象的映射
2021-01-15 15:01:30
617
原创 Linux清理内存占用空间
– linux查看超过1M 的.log文件find / -size +1M -name *.log -exec ls -lh {} ;– linux 删除超过1M 的log 文件find / -size +1M -name *.log -exec rm -rf {} ;
2020-12-03 09:29:23
112
原创 idel快捷键
Ctrl + R 在当前文件进行文本替换Ctrl + Y 删除光标所在行 或 删除选中的行Ctrl + D 复制光标所在行 或 复制选择内容，并把复制内容插入光标位置下面Ctrl + W 递进式选择代码块。可选中光标所在的单词或段落，连续按会在原有选中的基础上再扩展选中范围Ctrl + E 显示最近打开的文件记录列表Ctrl + N 根据输入的 类名 查找类文件Ctrl + P 方法参数提示显示Ctrl + H 显示当前类的层次结构 (所有实现类)Ctrl + / 注释光标所在行代码Ctr
2020-12-03 09:26:23
746
原创 2020-11-08Docker删除镜像报 Error response from daemon: conflict: unable to delete 4e8db158f18d (must be
在执行Docker删除镜像时报Error response from daemon: conflict: unable to delete 4e8db158f18d (must be forced) - image is being used by stopped container e5641c1d2d92的错误意思就是说镜像中已经有容器了 不能删除 我们需要先删除镜像中的容器 再删除镜像用 docker ps -a 来查看容器用 docker rm 容器的I...
2020-11-08 18:37:27
347
原创 redis 命令总结
#key 的统一操作 #删除指定key del key #获取key是否存在 exists key #获取key的类型 type key #排序 sort #改名 rename key newkey renamenx key newkey #为指定key设置有效期 expire key seconds pexpire key milliseconds expireat ...
2020-10-07 20:34:01
365
原创 redis命令简化版总结
1. String类型的操作： 1. 单个设置：set key value 2. 单个获取：get key 3. 删除：del key 4. 多个设置：mset key1 value1 key2 value2 5. 多个获取：mget key1 key2 … 6. 获取长度：strlen key 7. 设置有效期：setex key seconds value2. Hash类型的操作： 1. 单个设置： hset key field va...
2020-10-07 20:33:05
121
原创 三层架构和MVC的关系
MVC的和三层架构的关系:MVC 中M 代表java bean(model) ,V代表浏览器 C 代表controller(控制层)MVC 合在一起有一个共同的名字叫做视图层,视图层后面是业务层(逻辑层(Mapper)),业务层后面就是持久层(数据层(service)):视图层 + 业务层+持久层 合起来是三层架构...
2020-10-06 22:20:43
198
原创 linux中端口设置
linux中端口设置1 查询端口是否开放firewall-cmd --query-port=8080/tcp2开放80端口firewall-cmd --permanent --add-port=80/tcp3移除端口firewall-cmd --permanent --remove-port=80/tcp
2020-08-31 22:36:56
234
原创 linux中的防火墙的操作
linux中的防火墙的操作查看防火墙的状态service iptables status启动防火墙service firewalld start重启防火墙service firewalld restart永久关闭防火墙chkconfig iptables off永久关闭后重启防火墙chkconfig iptables on关闭防火墙service firewalld stop查看防火墙规则firewall-cmd --list-all重启防火墙(修改配置后要重启防火墙)fi
2020-08-31 22:30:26
102
原创 Nginx发布项目
Nginx发布项目1.创建一个toutiao目录cd /homemkdir toutiao2.将项目上传到toutiao目录3.解压项目unzip web.zip4.编辑Nginx配置文件nginx-1.17.5/conf/nginx.confserver {listen 80;server_name localhost;#charset koi8-r;#access_log logs/host.access.log main;location / { ro
2020-08-31 22:18:01
308
原创 在linux(CenterOS)中配置Nginx服务器
在linux(CentOS)中配置Nginx服务器1.上传安装包进入http://nginx.org/网站，下载nginx-1.17.5.tar.gz文件(上传到home目录下)2.解压安装包进入home目录,解压tar -zxvf nginx-1.17.5.tar.gz -C /home3.进入Nginx目录cd nginx-1.17.54.安装依赖环境yum -y install pcre pcre-develyum -y install zlib zlib-develyum -y
2020-08-31 22:15:41
241
原创 时间类API
时间类API计算机中时间的原点是1970年1月1日00：00：00JDK71.Date类（Date类代表一个特定的时间，精确到毫秒）1.Date类的构造方法方法名说明public Date()分配一个 Date对象，并初始化，以便它代表它被分配的时间，精确到毫秒public Date(long date)分配一个 Date对象，并将其初始化为表示从标准基准时间起指定的毫秒数import java.util.Date;public class wook1 {
2020-08-08 21:13:09
202
原创 基本的API
day04 API一 API的概述：什么是API API (Application Programming Interface) ：应用程序编程接口java中的API 指的就是 JDK 中提供的各种功能的 Java类，这些类将底层的实现封装了起来，我们不需要关心这些类是如何实现的，只需要学习这些类如何使用即可，我们可以通过帮助文档来学习这些API如何使用。二 常用的API:1.Math类(包含基本的数字运输的方法)1.Math中方法中的调用方式 Math类中没有构
2020-08-08 21:12:03
253
原创 匿名内部类的调用过程和Lambda的调用过程
匿名内部类的调用过程和Lambda的调用过程匿名内部类的调用过程首先main 方法中的swim方法将new Swimming(){方法体内的内容重写接口Swimming里面的方法}并创建出来对象当做实参传给public static void swim(){}这个函数,然后将后面的值a传给String a.然后swimming对象调用swimmingd的方法.Lambda的调用过程:将框里面的内容传给swim方法里面的对象swimming,将"花式"内容传给String a 然后a 再给传给sw
2020-08-03 23:09:57
197
原创 python中requests模块提示导入问题ImportError: No module named requests
python中requests模块提示导入问题ImportError: No module named requests1.首先看自己是否安装没有requests包，如果没有安装就安装2.如果安装后有 You are using pip version 19.2.3, however version 20.0.2 is available.You should co...
2020-03-01 19:03:50
908
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人