- 博客(463)
- 资源 (7)
- 收藏
- 关注
RSS订阅转载 shell文件排序、去重、合并、分割
head -n `echo $((208363/2+1))` log.txt > newloga.txt //前x行重定向输出到一个文件中；#tail –n `echo $((208363-208362/2-1))` log.txt >newlogb.txt //后x行重定向输出到一个文件中；# gunzip log.txt.gz //一定要先解压，否则分割的文件是不能cat/zcat显示；以上四种方法，除了dd之外的三种方式都可以很好的整行分割日志文件。
2025-01-27 23:10:05
29
原创 内网扫描端口
要扫描指定IP范围内的8006端口，并找到有HTTPS服务且是登录页面的内网IP，我们需要使用curl命令来测试每个IP的8006端口是否提供HTTPS服务，并检查返回的内容是否是登录页面。
2023-07-17 15:05:25
1357
转载 openjdk镜像的tag说明
关于java应用的docker镜像将java应用作成docker镜像时，需要镜像中带有jdk或者jre环境，通常有三种情况：在Dockerfile中加入安装jdk环境的脚本；镜像中只有应用jar包，启动容器时通过数据卷映射(-v参数)将宿主机的jdk文件夹映射到容器内；使用带有jdk的镜像作为基础镜像；...
2022-08-11 18:44:33
8822
转载 在CentOS 7 上搭建ocserv
ocserv 是一个 OpenConnect SSL VPN 协议服务端，0.3.0 版后兼容使用 AnyConnect SSL VPN 协议的终端。官方主页http://www.infradead.org/ocserv/。ocserv 已经在 epel 仓库中提供了，所以可以直接通过 yum 安装
2022-08-01 13:50:37
7778
转载 在线广告原理：从橱窗到互联网广告核心交易模式——RTB
RTB是“Real Time Bidding”的缩写，意思就是“实时竞价”，是互联网在线广告的一种交易方式。本文作者通过商场橱窗的案例向大家讲述了RTB的原理及特点，与大家分享。文章大纲：这是互联网广告最好的时代，2018年中国六大媒体广告总收入6527.7亿元，其中网络广告收入4844亿元，占比74.2%，中国网络广告市场规模同比增长29.2%。互联网广告正在市场份额上不断侵食着电视媒体广告、纸媒广告等传统的主流媒体广告。数据来源：《艾瑞咨询-2019年中国网络广告市场年度监测报告
2022-04-29 11:17:44
7436
转载 高可用服务设计|如何应对缓存穿透|玩转布隆过滤器
一、背景用户中心是授权逻辑与用户信息相关逻辑构建的应用。分布式系统中，大多数业务都需要和用户中心打交道，为了保证用户中心服务的高可用，避免不了做缓存、导入搜索引擎从而降低数据库的压力。然而有些不经过用户中心授权的业务场景查询用户中心的数据，可能引发大量无效的查询，发生缓存穿透，直接对搜索引擎和数据库造成压力。如何解决用户中心缓存穿透的问题呢？接下来就着重说一下布隆过滤器是怎么“隔档”这些无效查询的。二、缓存穿透缓存穿透是指用户查询数据，在数据库没有，自然在缓存中也不会有。这样就导致用户查询的时候，在
2022-03-23 00:14:05
6946
原创 Linux 环境下 NFS 服务安装及配置
服务端：确认是否安装rpm -qa nfs-utils rpcbind安装：yum install -y nfs-utils rpcbind服务端开机启动systemctl start rpcbindsystemctl enable rpcbindsystemctl start nfs-serversystemctl enable nfs-server配置 vim /etc/exports /mnt/share 172.18.0.0/16(rw,sync,insecure.
2022-03-22 16:15:37
7735
转载 线程池参数的合理设置
一：线程池参数简介ThreadPoolExecutor类可设置的参数主要有：corePoolSize：核心线程1.核心线程会一直存活，及时没有任务需要执行2.当线程数小于核心线程数时，即使有线程空闲，线程池也会优先创建新线程处理3.设置allowCoreThreadTimeout=true（默认false）时，核心线程会超时关闭queueCapacity：任务队列容量（阻塞队列）当核心线程数达到最大时，新任务会放在队列中排队等待执行maxPoolSize：最大线程数1.当线程数&g
2022-01-29 14:38:25
15124
2
原创 crond pam_sss.so
cp /etc/pam.d/system-auth /etc/pam.d/system-auth.bakvim /etc/pam.d/system-auth含有pam_sss.so的行要注释掉cp /etc/pam.d/password-auth /etc/pam.d/password-auth.bakvim /etc/pam.d/password-auth含有pam_sss.so的行要注释掉
2022-01-01 02:29:17
7542
原创 sudo mount -uw /
Exception in thread "main" java.lang.IllegalStateException: java.lang.IllegalStateException: Logback configuration error detected:ERROR in ch.qos.logback.core.rolling.RollingFileAppender[TIME_FILE] - openFilesudo mount -uw /
2021-11-09 14:25:56
7976
原创 ClickHouse磁盘清理
--查询本机整个数据库所有表总共的情况SELECT table, sum(rows) / 2, formatReadableSize(sum(bytes_on_disk)) AS sizeFROM system.partsWHERE database = 'system' GROUP BY table ORDER BY size ASC; select event_date,count(*) c from system.query_thread_log where event_date<.
2021-11-08 11:23:07
8609
原创 mysql主备配置文件 my.cnf
主：[mysqld]lower_case_table_names=1datadir=/mnt/mysql/datasocket=/mnt/mysql/mysql.socklog-error=/mnt/mysql/log/mysqld.logpid-file=/mnt/mysql/mysqld.pidwait_timeout=2147483interactive_timeout=2147483character_set_server=utf8init_connect='SET.
2021-11-04 16:31:33
5562
原创 Java程序的性能保证
1.ab test 进行压测2.保证cpu 内存使用率上去3.jstack查看线程情况4.nginx查看耗时5.同一后端服务压测时要保证性能一致6.线程池配置正确
2021-10-29 21:12:17
2555
原创 java服务性能优化
查看tcp链接数netstat -n | awk '/^tcp/ {++S[$NF]} END {for(a in S) print a, S[a]}'nginx中打印耗时配置：http { log_format main '$time_iso8601 $msec $remote_addr $host:$server_port $upstream_addr $request_time $request_length $body_bytes_sent $request_meth...
2021-10-28 14:03:23
201
原创 nginx安装
nginx.confuser root;worker_processes 16; worker_rlimit_nofile 65535;error_log /xxx/xxx/nginx_error.log; #pid logs/nginx.pid;events { use epoll; worker_connections 102400;}http { include mime.types; default_
2021-10-28 13:52:40
321
原创 linux 内核参数优化(16核16G)
#cat > /etc/sysctl.conf <<EOF kernel.core_uses_pid = 1kernel.msgmax = 65536kernel.msgmnb = 65536kernel.shmall = 4294967296kernel.shmmax = 68719476736kernel.sysrq = 0kernel.watchdog_thresh = 30net.core.netdev_max_backlog = 32768net.core.
2021-10-28 13:35:16
428
转载 nginx优化之keepalive
一、nginx之tcp_nopush、tcp_nodelay、sendfile1、TCP_NODELAY你怎么可以强制 socket 在它的缓冲区里发送数据？一个解决方案是 TCP 堆栈的 TCP_NODELAY选项。这样就可以使缓冲区中的数据立即发送出去。Nginx的 TCP_NODELAY 选项使得在打开一个新的 socket 时增加了TCP_NODELAY选项。但这时会造成一种情况：终端应用程序每产生一次操作就会发送一个包，而典型情况下一个包会拥有一个字节的数据以及40个字节长的包头，于
2021-10-15 15:09:26
1000
转载 java string占用内存_Java中String到底占用多大的内存空间？
对于Java中的String类占用多大的内存空间这个问题，是最近面试中问的比较多的一个问题。很多小伙伴的回答的都不是很正确，有说不占空间的，有说1个字节的，有说2个字节的，有说3个字节的，有说不知道的，更让人哭笑不得的是竟然还有人说是2的31次方。那如果真是这样的话，服务器的内存空间还放不下一个字符串呀！作为程序员的我们，可不能闹这种笑话呀。今天，我们就一起来聊聊Java中的String到底占用多大的内存空间！Java对象的结构首先，我们来下Java对象在虚拟机中的结构，这里，以HotSpot虚拟机
2021-10-15 15:07:57
3014
转载 OpenRTBv2.5-IAB关于程序化模式的定义系列【基础类】
继《程序化广告4种典型模式》、《流量优先级和交易管理》之后我们看看一下程序化广告关键的技术接口协议：OpenRTB_API_Specification下载地址：http://www.iab.com/wp-content/uploads/2016/03/OpenRTB-API-Specification-Version-2-5-FINAL.pdf是IAB指定的RTB竞价广告协议的规范，主要包括其生态图体系、业务流程和主要的对象模型和数据模型。基本负责流量技术对接的产品技术同学必须参考的文档。
2021-07-26 16:34:06
1366
转载 【计算广告】
【计算广告】https://www.jianshu.com/p/7b6f45548018https://www.jianshu.com/p/ada4fbba564bhttps://blog.youkuaiyun.com/u013093759/article/details/88744257https://blog.youkuaiyun.com/xifeijian/article/details/78837642https://blog.youkuaiyun.com/u013093759/article/details/..
2021-07-26 15:07:06
2143
转载 ClickHouse存储引擎之ReplacingMergeTree引擎
一、ReplacingMergeTree作用 ClickHouse中最常用也是最基础的表引擎为MergeTree，在它的功能基础上添加特定功能就构成了MergeTree系列引擎。MergeTree支持主键，但主键主要用来缩小查询范围，且不具备唯一性约束，可以正常写入相同主键的数据。但在一些情况下，可能需要表中没有主键重复的数据。ReplacingMergeTree就是在MergeTree的基础上加入了去重的功能，但它仅会在合并分区时，去删除重复的数据，写入相同数据时并不会引发异常。二、功能示例创建
2021-06-01 14:35:52
809
原创 SSH 远程连接会话保持时间太短
修改本机的/etc/ssh/ssh_config# client 每隔 60 秒发送一次请求给 server，然后 server 响应，从而保持连接ServerAliveInterval 60# client 发出请求后，服务器端没有响应得次数达到 3，就自动断开连接，正常情况下，server 不会不响应ServerAliveCountMax 3...
2021-04-09 10:30:30
1259
1
原创 Java 字符串常量池
https://blog.youkuaiyun.com/qq_27093465/article/details/106767042https://www.cnblogs.com/cosmos-wong/p/12925299.html
2021-03-22 16:57:12
208
原创 JAVA中的引用
一、为什么有它？解决了什么问题？二、它的数据结构？三、它使用的算法？1.空间复杂度2.时间复杂度四、它的设计模式？五、它的JVM底层实现原理？六、它的应用场景？七、它的性能？...
2021-03-14 11:44:21
197
原创 GO111MODULE的设置（及GOPROXY）
go env -w GOPROXY=https://goproxy.io,directgo env -w GO111MODULE=on
2021-02-18 14:56:25
4727
转载 Java使用FFmpeg处理视频文件指南
https://www.cnblogs.com/Dreamer-1/p/10394011.htmlJava使用FFmpeg处理视频文件指南本文主要讲述如何使用Java + FFmpeg实现对视频文件的信息提取、码率压缩、分辨率转换等功能；之前在网上浏览了一大圈Java使用FFmpeg处理音视频的文章，大多都讲的比较简单，楼主在实操过程中踩了很多坑也填了很多坑，希望这份详细的踩坑&填坑指南能帮助到大家；1. 什么是FFmpeg点我了解2. 开发前准备在使用Java调用FFm
2021-01-19 19:59:13
7457
3
原创 kafka接入clickhouse
1.ClickHouse 提供了Kafka Engine 作为访问Kafka集群的一个接口（数据流）https://clickhouse.tech/docs/en/engines/table-engines/integrations/kafka/?spm=a2c4g.11186623.2.15.54096144mc3uXv缺点：不可单独按表设置入库大小，比如你想只有1条kafka数据落地clickhouse，可以实现，但比较麻烦2.clickhouse_sinker(推荐)https://g
2021-01-07 12:10:36
3416
tomcat7_0_29官方源码已编译导入eclipse可运行
2013-02-19
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人