自定义博客皮肤VIP专享

*博客头图：

格式为PNG、JPG，宽度*高度大于1920*100像素，不超过2MB，主视觉建议放在右侧，请参照线上博客头图

请上传大于1920*100像素的图片！

博客底图：

图片格式为PNG、JPG，不超过1MB，可上下左右平铺至整个背景

栏目图：

图片格式为PNG、JPG，图片宽度*高度为300*38像素，不超过0.5MB

主标题颜色：

RGB颜色，例如：#AFAFAF

Hover：

RGB颜色，例如：#AFAFAF

副标题颜色：

RGB颜色，例如：#AFAFAF

预览 取消 提交

自定义博客皮肤

-+
上一步保存

cleanfield的专栏

  • 博客(216)
  • 资源 (54)
  • 收藏
  • 关注
排序：
按最后发布时间
按访问量
RSS订阅

原创 记一次logtail锁死/tmp目录

记录一次logtail导致的目录锁死经历

2024-02-02 12:26:26 400

原创 netlink学习

从inotify引出auditd，从auditd引出netlink，从netlink引出libnl和libmnl

2024-01-31 14:32:57 1529

原创 inotify学习

inotify的原理与使用

2024-01-30 19:46:20 775

原创 rsyslog学习

rsyslog的消息流是从输入模块->预处理模块->主队列->过滤模块->执行队列->输出模块。

2023-11-23 14:40:51 828

原创 文件描述符与锁定状态在系统层面的表示

实际上，在父子进程共享文件锁时，锁表项中的锁定进程 ID 只包含创建并持有该锁的原始进程（通常是父进程）的 ID。然而，在锁表项中，锁定进程 ID 仅指向原始创建并持有锁的进程（父进程）的 ID。当子进程继承父进程的文件描述符时，子进程实际上继承了指向同一文件表项的引用，这意味着父子进程共享该锁，而不是每个进程拥有其自己的锁表项。在上面的示意图中，Process A（父进程）和 Process B（子进程）共享同一个文件描述符表项，这意味着它们实际上指向同一个文件表项，而不是内容相同的两个文件表项。

2023-11-22 12:10:14 350

原创 实现脚本单例运行的两种方案

加注：在多进程或跨脚本场景中，简单地判断锁文件是否存在可能导致竞争条件。若多个进程或脚本实例在几乎相同的时间点检查并尝试创建锁文件，这样一来，就可能让多个实例同时获得锁并运行。由于此种情况下的检查和创建锁文件并不是原子性操作（无法保证在一个不可分割的操作中完成），因此可能导致竞争条件的发生。简单地判断锁文件是否存在是一种简单易懂的方法，但可能导致竞争条件、锁未释放等问题，不如。如果文件不存在，就创建一个锁文件，获得锁。综上，简单地判断锁文件是否存在的方案同样可以应用于跨进程和跨脚本场景，但相较于。

2023-11-21 19:13:34 181

原创 flock使用文件描述符和使用文件的区别

flock有两种使用方式，本文分析了两者之间的优劣

2023-11-21 17:22:23 278

原创 xargs如何保留文本中的引号

文本中如果有引号，直接用xargs处理会丢失，本文展示一种比较方便灵巧的办法，实现引号正常传递

2023-09-08 10:38:12 858

原创 linux下sz命令不能传输超过4g文件的解决办法

通过分割与合并文件，解决sz超过4g无法传输的问题

2023-06-21 18:25:30 1983

原创 redis中sort妙用，实现动态生成排行榜

sort命令可以实现多string，多hash的联合查询，不用lua就可以实现原子操作

2023-06-16 18:08:28 1045

转载 shell教程

记录shell必备基础知识，大家可以收藏，方便查阅

2023-02-17 18:14:18 854

原创 linux下程序占用内存只涨不降原因追查

linux下进程占用内存只增不减，如何定位问题，这里给出了一次追查过程

2022-12-14 15:42:38 6054

原创 解决cscript打开excel时宏互不可见的问题

巧妙解决cscript解决打开多个excel文件时，后面文件看不到前面文件中定义的宏

2022-11-18 19:49:33 250

原创 基于awk实现的表格检查框架

awk天生就是处理表格数据的，本文实现了一种基于awk的表格检查框架，已经在实际生产环境应用，希望对大家有帮助

2022-10-20 11:07:24 590

原创 如何实现select * exclude column

实现mysql中的insert into B select * exclude from，

2022-10-14 14:17:58 499

原创 shell中pipeline的运行探秘

介绍shell中的pipeline的实现机制以及运行解析，可以理解shell中的子进程以及管道的应用

2022-10-09 12:40:05 790

原创 shell的前世今生

shell是什么，为什么有shell，它如何工作，怎样认识shell

2022-10-08 11:06:46 861

原创 bat中实现从配置文件中加载变量

将逻辑代码与配置信息分离，这样可以更好的隔离

2022-09-23 19:55:46 814

原创 没有core的程序异常退出追查过程

对于进程异常退出而没有产出core文件，我们该如何定位问题

2022-09-21 16:11:23 1332

原创 分享gawk大神写的库，包括解析csv文件和web参数

awk大神写的csv和http参数解析库，具体网址是http://mcollado.z15.es/xgawk/http://mcollado.z15.es/xgawk/

2022-09-21 15:40:45 162

原创 记一次老版本perforce的迁移历程

对于老版本的perforce迁移，提供了一种可行的方案，而且已经验证过，尽信书不如无书，官方文档也不是万能的，有时候还需要自己想办法

2022-09-13 15:02:32 934 3

原创 sed实现修改第一次与最后一次匹配

sed巧妙实现替换最后一次匹配，仅仅一行代码

2022-09-09 11:53:46 4606

原创 bat中for循环嵌套

网上看了很多教程，很少讲分割字符串然后遍历所有列的，现在我实现了这种逻辑。这里需要注意一下，第二层循环的总列表需要在第一层用一个变量承载，不然在第一次二层循环完成之后，这个队列就会清空。终于实现了for循环嵌套，特此记录。

2022-09-07 10:04:55 5765

原创 windows下perforce的命令行操作

除了p4v的可视化操作之外，还可以在命令行，脚本中更灵活地操作perforce

2022-08-30 15:04:13 807

原创 python实现从excel导出csv最完整版本，openpyxl，pandas，xlrd全家桶

excel导出csv，实现了多种方式导出，同事还实现了多进程版本，效率更高

2022-08-25 20:42:25 1661

原创 python xlrd，pandas，openpyxl实现excel导出csv，支持xls，xlsm, xlsx

将excel导出为csv，跨平台可用

2022-08-21 23:38:49 1051

原创 awk中匹配一个变量

awk中匹配一个变量的值，要特殊写法

2022-08-17 19:20:56 511

转载 Bash Shell脚本中的数组使用实例

本文详细讲述了在bash中数组的各种应用场景

2022-08-17 17:18:34 1790

原创 bash中分割字符串

本文给出了一种简单的在bash中分割字符串的手段

2022-07-08 19:06:29 2574

原创 crontab的特殊标签 reboot

这几天遇到一个问题，每个用户有一个守护进程，为了这个守护进程同时只运行一个，所以加了一个文件锁，然而机器要是重启的话，这个文件锁是没法删掉的，重启之后就导致守护进程无法启动了。一直在找一钟机制，能够在crontab脚本运行之前执行，不是类似rc.d，因为这个是针对root账号，要处理到其他账号的文件锁，就需要针对每一个账号的文件锁都删除一遍，今天发现了crontab的特殊标签，reboot，可以在每次重启后执行一次，触发时机是在crontab其他定时任务之前执行，完美契合我的需求。具体用法是这样的：

2022-05-12 14:23:09 2572

原创 ulimit -a的假象

ulimit -a并不一定显示的真实数据，我们一定要一探究竟，追其根源

2022-04-21 20:48:56 448

原创 php+jQuery+ajax实现无刷新动态追加数据

实现页面动态追加数据

2022-03-01 14:00:14 561

原创 通过redis的pub/sub实现远程tail -f功能

通过redis的pub/sub模块实现远程tail -f的功能

2022-02-28 12:00:59 552

原创 erlang服务启动与热更纪要

理解erlang的热更机制

2022-02-17 16:28:09 683

原创 bat脚本中调用另一个bat的坑

bat中调用另一个bat脚本的坑

2022-02-08 16:09:20 1369

原创 解决VSCode代码不高亮的问题

在卸载了所有扩展，并且卸载了vscode之后，发现还是不高亮，并且卸载重装之后居然可以直接打开之前最后一次打开的文件和目录，想想应该是临时文件的原因，后面在系统盘搜索了一下，发现一堆的临时文件直接删除这些临时文件，重新安装插件，发现代码可以高亮了，问题解决...

2022-01-19 12:23:49 6387

转载 警惕利用Linux预加载型恶意动态链接库的后门

一、动态链接库预加载型rootkit概述动态链接库预加载机制是系统提供给用户运行自定义动态链接库的一种方式，在可执行程序运行之前就会预先加载用户定义的动态链接库的一种技术，这种技术可以重写系统的库函数，只需要在预加载的链接库中重新定义相同名称的库函数，程序调用库函数时，重新定义的函数即会短路正常的库函数，这种技术可以用来重写系统中有漏洞的库函数，达到修复漏洞的目的，如get_host_byname导致ghost漏洞的这类函数。这种技术也可以被不怀好意的攻击者用来写rootkit,通过重写mkdir, m

2022-01-17 11:56:30 2329

原创 faketime实现游戏服务器时间定制

游戏开发中，服务器经常需要调整时间，比如测活动，要测完整流程需要频繁修改时间，如何实现多租户各自定制时间，本文会给出答案

2022-01-14 14:35:07 4186 3

原创 直接从mysql binlog文件提取数据，无需恢复整个数据库

常常恢复整库只是为了很少量的数据，但是这个成本很大，耗时，本文提供一种思路，直接从binlog中抽取数据，粒度更小，耗时从小时到级分钟级

2021-11-26 18:40:50 3501

原创 记录一次虚拟机内存黑洞的追查过程

最近将一台开发机迁移到了虚拟机上，运维同事给的配置跟之前一样，64G内存，可是同事用着没几天就感觉很卡，之前物理机的时候没出现过这个问题。先记录下追查过程1.free -m和top都查看了当前内存使用情况# free -m total used free shared buff/cache availableMem: 62815 33918 27024 16

2021-11-22 18:40:56 1464

QCon2010大会ppt下载
QCon是为团队领导者、架构师、项目经理和高级软件开发人员量身打造的企业软件开发大会，其所覆盖的主题内容与InfoQ网站相同，关注架构与设计、真实案例分析等等。从2007年3月到现在，QCon已经在英国伦敦、美国旧金山等举办了4次会议，得到业界的广泛好评。2009年，这一高品质的技术大会将来到亚洲，在中国北京和日本东京举行。QCon全球企业开发大会北京站由C4media传媒集团和InfoQ中文站共同举办。

2011-05-03

2011年DTCC数据库大会ppt下载
2011年数据库大会部分ppt下载 丁原：海量数据迁移方案.pdf 王龙：百度数据库架构演变与设计.pdf 杨海潮: 基于MySQL的分布式数据库实践_公开.pdf 姜承尧：MySQL创新工厂.pdf 邵宗文：数据库托管平台介绍.pdf 杨涛：MySQL 的开源DW 解决方案.pdf Digoal.Zhou - PostgreSQL Inside——公开.pdf cory isaacson：ScalingYourDatabaseIn.pdf 浅谈伪分布式数据库架构_金官丁_20110328.pdf 汪富强: DSG数据库复制和备.pdf 张瑞: Database和SSD的实践与探索-IT168数据库大会_公开.pdf 崔华：数据安全与恢复机制揭密.pdf 百度数据库优化实践-李京生_公开版.pdf 童家旺：我对后端优化的一点想法.pdf 赵振平：MYSQL数据库世界五百强应用一例.pdf 周淳：DM针对大数据量环境下分析型应用的支持方案v2.0.pdf

2011-04-21

FastDFS php接口介绍 pdf
希望对学习FastDFS的同志们有帮助，本pdf是由v2.09版php_client中的README转换而来，看着更舒服

2011-04-08

FastDFS介绍 pdf
国人做的用C语言写的轻量级的分布式文件存储，只有 tracker和storage 节点。没有使用数据库。本文是从作者的ppt转换而来，膜拜牛人余庆，官方地址：http://bbs.chinaunix.net/forum-240-1.html

2011-04-08

C++程序员面试常见问题汇总
常见有关C++的面试题汇总，难易适中，不过个人能力也不同，总之希望对找工作的同志们有帮助

2011-04-07

libevent源码深度剖析.pdf
libevent源码深度剖析,是sparkliang(http://blog.youkuaiyun.com/sparkliang)的分析文章，非常牛，希望对学习libevent的人们有帮助

2011-04-07

Google C++编程规范（pdf 英文）
google的编程规范一直受业界推崇，希望大家可以借鉴，源网页地址：http://google-styleguide.googlecode.com/svn/trunk/cppguide.xml

2011-03-09

key是string的hash_map
本实例实现了一个hash_map，key是string类型，即可以存储索引是string的数据，希望对大家有帮助

2011-03-06

网游服务器日志系统（以小时为单位生成日志）
本日志系统实现了以小时为单位的日志输出，分为info和error两个级别，当然还可以继续扩展，实施起来也相当方便。本实例是windows版本，但是转变为linux下版本也相当容易，只要替换目录操作和线程互斥机制就行，希望对感兴趣的人有帮助

2011-03-06

常用算法程序集(c语言描述)第三版+源代码
常用的一些算法，c语言描述，源代码都有，希望对大家有用

2011-03-05

常用数据结构（C++语言描述）源代码
实现了常用的array，list，stack，tree，希望大家能多多交流

2011-03-05

STL文件的读取（普通文件解析与内存映射文件解析） cpp&stl
本实例中定义了STL文件中的基本数据结构，采用普通文件读取和内存映射文件读取两种方式，并对二者效率进行对比

2011-03-05

GNU make中文手册
翻译整理：徐海兵 本文比较完整的讲述GNU make工具，涵盖GNU make的用法、语法。同时重点讨论如何为一个工程编写Makefile。作为一个Linux程序员，make工具的使用以及编写Makefile是必需的。系统、详细讲述make的中文资料比较少，出于对广大中文Linuxer的支持，本人在工作之余，花了18个多月时间完成对“info make”的翻译整理，完成这个中文版手册。本书不是一个纯粹的语言翻译版本，其中对GNU make的一些语法和用法根据我个人的工作经验进行了一些详细分析和说明，也加入了一些个人的观点和实践总结。本书的所有的例子都可以在支持V3.8版本的GNU make的系统中正确执行。

2011-03-05

memcached全面剖析
memcached 是以LiveJournal 旗下Danga Interactive 公司的Brad Fitzpatric 为首开发的一款软件。现在 已成为mixi、hatena、Facebook、Vox、LiveJournal等众多服务中提高Web应用扩展性的重要因素。 许多Web应用都将数据保存到RDBMS中，应用服务器从中读取数据并在浏览器中显示。但随着数 据量的增大、访问的集中，就会出现RDBMS的负担加重、数据库响应恶化、网站显示延迟等重大 影响。 这时就该memcached大显身手了。memcached是高性能的分布式内存缓存服务器。一般的使用目的 是，通过缓存数据库查询结果，减少数据库访问次数，以提高动态Web应用的速度、提高可扩展 性。

2011-03-04

Linux Debugging And Performance Tuning
This is the definitive guide to Linux software debugging and performance optimization at both the kernel and application levels. Using extensive Linux code examples, Steve Best systematically introduces open source tools and best-practice techniques for delivering bugfree, well-tuned code. Drawing on his exceptional experience optimizing Linux systems for IBM, Best covers issues ranging from memory management and I/O to system processes and kernel bug messages. You'll walk through real debugging sessions, discovering the strategies experts use to debug even the most complex application- and kernel-related problems. You'll master sophisticated profiling techniques for identifying and resolving bottlenecks more quickly and learn how to capture the right data in the event of trouble. Coverage includes

2011-03-04

Facebook照片存储相关论文
facebook的照片存储量级是PB级的，本文介绍了这种巨量级的照片存储方式，做图片服务器的同学可以参考参考

2011-03-04

A Byte of Vim
《A Byte of Vim》由《简明 Python 教程》（A Byte of Python）一书的作者 Swaroop C H 所写，该书采用 CC 授权，将帮助你学习如何使用 Vim 编辑器

2011-03-04

构建高性能Web站点（郭欣大侠的作品 书籍缩略版）
这是《构建高性能web站点》的缩略版，大家最好去买书来看，很不错的一般经验总结，现在这类型的书不多啊

2011-03-04

Boost.Interprocess介绍
Boost.Interprocess实现了进程内线程的同步通信机制，包括共享内存操作

2011-02-25

varnish实现原理
Varnish是一款全新的cache软件，据作者说采用的是最新的软件体系机构，和现在的硬件体系配合紧密。远胜过以前的Squid，性能可以提高3倍至10倍。

2011-02-25

gawk_eg.tar.gz
https://www.gnu.org/software/gawk/manual/gawk.html在这个官方文档中，包括所有的完整示例（包括输入文件，awk脚本，输出文件），awk库函数文件，是难得的学习资料

2021-11-08

win_awk.zip
linux下强大的awk，在windows上也可以用了，当然有些细节不一样，将linux下的awk脚本移植到windows上时，要做一些小的修改

2021-10-26

svn hook脚本，实现commit提交逻辑检查，评论格式，文件格式逻辑设定
svn上传管理时，经常需要规定固定的评论格式，还有文件格式限制，本示例实现了上述逻辑，需要的同学可以参考

2021-05-25

ip智能识别php代码.zip
有时候需要对ip进行识别，分流，处理，每一个会有对应的策略，本代码实现了ip的智能识别，简单易用，非常容易集成，需要更精确的ip库，只需要更新其中的dat文件，qq ip纯真库

2021-05-25

国家编码，中英文名,utf8格式
国家编码与对应中英文名，utf8格式,例如：BR|Brazil|巴西

2015-09-10

通过GeoIP获取ip所属地，并将国家转换为中文
本代码包实现了两个功能： 1.集成GeoIP，通过ip查询国家信息 2.将查询到的国家编码对应到中文名

2015-09-10

国家编码，中英文名字(utf8)
基本的国家编码对应名字信息，例如BR|Brazil|巴西,utf8格式

2015-09-10

2012年数据库技术大会演讲PPT打包.rar
每年一次，今年聚集了很多大神级的人物，全是干货，想了解学习数据库技术架构的，绝对能找到你想要的

2012-04-19

socket工具包 c++
超时包括connect超时、send超时和recv超时，作为有限资源的“client”在向后端server请求时，一定要做好超时检查，本socket库实现了这3种操作的超时检查，希望对有这方面需求的同学们有用

2011-08-18

淘宝软件基础设施构建实践 pdf
首先，简单介绍淘宝网的系统规模和增长速度，以及对软件基础设施带来的挑战；接着，回顾淘宝图片存储与CDN系统的发展历史，如何从商用系统一步一步走到完全自主的系统，描述自主系统的主要架构与设计思想、性能指标和现有的部署规模，并总结一些经验来指导系统研发；然后，描述淘宝在软件基础设施上的规划，并一一阐述当前主要项目的要点与进展状况，这包括TFS、TAIR、千亿级别的分布式表格系统OceanBase、MySQL优化、面向Java环境的专用计算平台、服务器平台、Linux内核定制与优化、组通讯夸父、CDN和低功耗服务器平台等；最后，总结一下软件基础设施研发的原则和经验。 说明一下，这是淘宝大牛 章文嵩 的ppt

2011-06-30

Google MapReduce中文版 pdf
MapReduce是一个编程模型，也是一个处理和生成超大数据集的算法模型的相关实现。用户首先创建一个Map函数处理一个基于key/value pair的数据集合，输出中间的基于key/value pair的数据集合；然后再创建一个Reduce函数用来合并所有的具有相同中间key值的中间value值。现实世界中有很多满足上述处理模型的例子，本论文将详细描述这个模型。

2011-06-30

Bigtable：一个分布式的结构化数据存储系统[中文版] pdf
Bigtable是一个分布式的结构化数据存储系统，它被设计用来处理海量数据：通常是分布在数千台普通服务器上的PB级的数据。Google的很多项目使用Bigtable存储数据，包括Web索引、Google Earth、Google Finance。这些应用对Bigtable提出的要求差异非常大，无论是在数据量上（从URL到网页到卫星图像）还是在响应速度上（从后端的批量处理到实时数据服务）。尽管应用需求差异很大，但是，针对Google的这些产品，Bigtable还是成功的提供了一个灵活的、高性能的解决方案。本论文描述了Bigtable提供的简单的数据模型，利用这个模型，用户可以动态的控制数据的分布和格式；我们还将描述Bigtable的设计和实现。

2011-06-30

The Google File System中文版 pdf
Google GFS文件系统，是一个面向大规模数据密集型应用的、可伸缩的分布式文件系统。GFS虽然运行在廉价的普遍硬件设备上，但是它依然了提供灾难冗余的能力，为大量客户机提供了高性能的服务。

2011-06-30

分布式系统工程实践 pdf
NOSQL的资料很多，不过不成体系，让分布式系统开发工程师无所适从。淘宝的杨传辉（日照@淘宝）根据过去跟着阳振坤老师开发类似Google GFS/MapReduce/Bigtable的系统以及对Dynamo, PNUTS等典型系统的理解尝试梳理流行的分布式存储和计算系统的分类，设计及实现。

2011-06-30

c语言实现的fastcgi库 libfcgi
官方下载的fastcgi c语言库，源代码不多，有兴趣的同学可以看一下

2011-05-17

mysql分布式事务实现 MySQL XA pdf
MySQL执行XA MySQL时，MySQL服务器相当于一个用于管理全局事务中的XA事务的资源管理器。与MySQL服务器连接的客户端相当于事务管理器。从5.1版本开始支持

2011-05-15

具备守护监控功能的spawn-fcgi
本spawn-fcgi在标准版本基础上实现了对子进程的守护和监控，当有子进程挂掉的时候会重新拉一个子进程，这样就解决了原有spawn-fcgi的一个弊端：即spawn-fcgi在启动了子进程后就直接退出了，这时候如果子进程都挂掉那么就无法提供服务， 作者berniewu

2011-05-10

QCon2011企业软件开发大会ppt 3
QCon是为团队领导者、架构师、项目经理和高级软件开发人员量身打造的企业软件开发大会，其所覆盖的主题内容与InfoQ网站相同，关注架构与设计、真实案例分析等等。从2007年3月到现在，QCon已经在英国伦敦、美国旧金山等举办了4次会议，得到业界的广泛好评。2009年，这一高品质的技术大会将来到亚洲，在中国北京和日本东京举行。QCon全球企业开发大会北京站由C4media传媒集团和InfoQ中文站共同举办。

2011-05-03

QCon2011企业软件开发大会ppt 2
QCon是为团队领导者、架构师、项目经理和高级软件开发人员量身打造的企业软件开发大会，其所覆盖的主题内容与InfoQ网站相同，关注架构与设计、真实案例分析等等。从2007年3月到现在，QCon已经在英国伦敦、美国旧金山等举办了4次会议，得到业界的广泛好评。2009年，这一高品质的技术大会将来到亚洲，在中国北京和日本东京举行。QCon全球企业开发大会北京站由C4media传媒集团和InfoQ中文站共同举办。

2011-05-03

QCon2011企业软件开发大会ppt 1
QCon是为团队领导者、架构师、项目经理和高级软件开发人员量身打造的企业软件开发大会，其所覆盖的主题内容与InfoQ网站相同，关注架构与设计、真实案例分析等等。从2007年3月到现在，QCon已经在英国伦敦、美国旧金山等举办了4次会议，得到业界的广泛好评。2009年，这一高品质的技术大会将来到亚洲，在中国北京和日本东京举行。QCon全球企业开发大会北京站由C4media传媒集团和InfoQ中文站共同举办。

2011-05-03

查看更多

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章？
取消 删除