- 博客(84)
- 问答 (3)
- 收藏
- 关注
原创 SSM(状态空间模型,State Space Model)
选择性状态扫描 (Selective State Space Scanning)离散稳定更新 (Discretized Stable Update)选择性状态扫描:动态调节记忆保留/遗忘速度(相当于 LSTM 的遗忘门)。离散稳定更新:把连续系统转换为离散计算时,保证不会数值爆炸(用指数衰减确保稳定)。通过「选择性扫描」智能地决定记忆时长;通过「稳定更新」保证训练不会崩掉。Mamba 的核心思想就是动态、选择性地更新状态,它通过线性递推和选择性机制。
2025-09-22 21:44:29
1490
原创 吃透RNN
隐藏状态到底是啥训练时时间展开 + 参数共享长依赖问题(为什么记不住很久以前的内容)任务形式的不同(多对一、多对多等)专业术语通俗解释输入向量当前看到的字/词的数字表示隐藏状态大脑的短期记忆参数共享所有时间步用同一本字典时间展开把循环拉直成一条链输出模型预测的下一个字损失函数考试分数差距反向传播错题往前查原因BPTT错题往前查到整个时间过程梯度消失/爆炸传话时声音越来越小/越来越大长依赖问题前面很久的信息记不住。
2025-09-20 16:19:48
956
原创 扩散模型(Diffusion Model)
扩散模型训练过程给图片逐步加噪 → 学网络预测噪声 → 用预测来还原干净图像。核心原理只需要学“预测噪声”这一件事。最终用途从纯噪声一步步采样,生成新的图片。均值、方差、标准差→ 描述数据的“集中与离散”协方差、相关系数→ 描述两个变量之间的关系中误差、置信区间、p 值→ 推断总体的工具。
2025-09-20 12:07:28
1116
原创 VAE模型
PCA 通过方差最大化找到新的坐标轴,用来表示数据。降维后的特征是新特征,不是原始特征的子集,而是原始特征的线性组合。可以通过主成分系数(Loadings)方差解释率来判断原始特征的重要性。PCA = 降维 + 去冗余 + 保留信息最丰富的方向。
2025-09-19 15:42:54
878
原创 矢量面数据拓扑关系检查(二)
本文介绍了矢量数据的坐标转换和拓扑检查方法。主要内容包括: 矢量数据属性检查(要素数量、字段、CRS、几何类型等) 坐标转换:2000转WGS1984、2000转高斯克吕格、WGS1984转UTM 拓扑检查方法:非法几何检查(使用explain_validity)、带洞要素检查、极小面检查(面积阈值)、几何修复(make_valid/buffer(0)) 检查中使用米制投影(estimate_utm_crs)进行精确面积计算 提供了完整的Python代码实现,基于geopandas和shapely库 文章通
2025-09-05 09:47:49
244
原创 Redis 基础核心篇
本文介绍了Redis的核心功能,包括六种主要数据类型(String、Hash、List、Set、Sorted Set及特殊结构)及其应用场景,轻量级的发布订阅机制,以及两种持久化方式RDB和AOF的特点与适用场景。文章强调Redis通过高性能数据结构、简单命令和多持久化机制,成为支持缓存、计数器、排行榜等功能的互联网必备组件,并推荐生产环境使用RDB+AOF混合持久化方案。
2025-09-04 10:43:14
483
原创 Redis
Redis 的诞生,源于“数据库太慢 → 内存更快 → 做一个好用的内存数据库”。今天,它已经不止是“缓存”,而是现代分布式系统里的标配基础组件,就像电商的购物车、支付系统的秒杀、社交平台的排行榜,背后十有八九都有 Redis 的影子。Redis内存 + 数据结构 + 单线程 + 事件驱动 + 后台持久化。MySQL的加速点不在 qcache(它已经历史退场),而在。做系统设计时,把缓存类型与写入策略明确下来;做性能优化时,沿着。
2025-09-01 18:26:02
1060
原创 集群性能指标全解:PV、UV、QPS、TPS、RT、加载时间、并发量、DAU、MAU
本文系统解析了集群性能核心指标,分为用户指标(PV/UV/DAU/MAU)、吞吐指标(QPS/TPS)、速度指标(RT/加载时间)和并发量四类。重点讲解了指标间的换算关系,如通过Little定律从QPS推导并发量,以及如何从用户规模推算系统负载。同时强调后端RT与前端加载时间的差异,指出完整的性能优化需要前后端协同。文章提供了容量预估的完整计算流程,并警示常见陷阱,最后给出实战公式和监控建议。这些指标串联起从业务规划到系统监控的全链路,是评估系统性能和用户体验的关键工具。
2025-09-01 18:12:56
810
原创 CS 架构与 BS 架构
CS 架构即客户端 – 服务器模式。客户端(Client):安装在用户本地设备上,负责交互逻辑。服务器(Server):集中提供数据和业务逻辑支持。BS 架构即浏览器 – 服务器模式。用户只需要一个浏览器,不必安装额外客户端。应用的交互逻辑和展示通过浏览器完成,核心业务逻辑仍在服务器。CS 架构:性能强大,但运维与兼容性弱。BS 架构:轻量易用,普及度高,但依赖网络和浏览器环境。今天的分布式架构:结合云计算与前端技术,把 CS 的体验优势和 BS 的维护优势结合起来。换句话说,
2025-09-01 18:04:23
682
原创 物理集群上架过程
从机房条件到硬件验收;从布线供电到操作系统部署;从单机接入到集群初始化。每个环节出错都会在后续放大成灾难。正因为这样,规范化与自动化才是上万台服务器集群能够顺畅运行的保障。
2025-09-01 18:00:33
791
原创 云计算与 5G 技术
云计算就是把计算资源(CPU、存储、网络、数据库、AI 算力等)以服务的形式提供给用户。用户不必自己建机房买设备,只需按需申请。云计算:提供弹性、分布式、服务化的算力与存储。5G 技术:提供高带宽、低延迟、大连接的网络能力。结合后的价值:让算力无处不在、让应用实时互联,推动车联网、工业互联网、智慧城市、沉浸式娱乐等新一代应用场景落地。云计算是“超级计算机”5G 是“超级网络”结合在一起,就是未来分布式集群的“操作系统 + 高速总线”。
2025-09-01 17:57:05
708
原创 虚拟化技术与软件定义网络(SDN)
在传统架构里,网络是“硬件驱动”的:买交换机、插网线、配置命令。但在云计算与大规模集群环境中,这样的方式显得笨重——每次变更都要人去机房“拔线+敲命令”,效率极低。于是,虚拟化技术让计算和网络“抽象”起来,不再强依赖物理设备;**软件定义网络(SDN)**则进一步让网络具备集中控制、自动编排、灵活伸缩的能力。传统网络:控制面(控制路由、策略)和数据面(转发数据包)耦合在设备上。解耦控制面与数据面。控制面→ 集中控制器(比如 ONOS、OpenDaylight)。数据面。
2025-09-01 17:53:06
847
原创 路由器与防火墙
路由器是一种三层网络设备,它的核心工作是根据目的 IP,选择合适的转发路径。如果把网络比作高速公路,路由器就是路口的指示牌,决定你上哪条道。防火墙是网络世界的“哨兵”,它根据策略决定数据包是否放行。在数据中心里,它通常部署在南北流量出口,也可以用在东西流量内部隔离(东西向防火墙 / 微隔离)。路由器:数据中心的“交通指挥”,通过静态/动态路由协议决定流量走向。防火墙:数据中心的“安全岗哨”,通过规则与策略决定谁能进出。单点故障风险路由器故障 → 全网断路;防火墙故障 → 全网阻塞。防护思路。
2025-09-01 17:50:08
770
原创 接入层、汇聚层、核心层:单点故障分析与骨干网络
在分布式集群网络中,三层架构是理解的钥匙:接入层负责“末梢神经”,汇聚层负责“局部协调”,核心层则是“中枢大脑”,骨干网络更是“跨城市大动脉”。如果这里坏了,会影响多大范围?我能不能把故障影响范围缩小?有没有快速恢复的手段?只有这样,才能让“成千上万台服务器”的网络像血管一样稳定、通畅、可靠。
2025-09-01 17:44:25
1006
原创 东西流量与南北流量、网络链路、上万台服务器组网痛点
当业务进入分布式与微服务化,网络就不再是“透明的管子”,而是系统设计的一等公民。理解南北/东西流量、掌握 Clos/Overlay 的取舍、用工程化的方法治理失败域与变更,把可观测性植入日常运维——这是把上万台服务器管“稳、顺、便宜”的唯一道路。---# 📖 专业名词速查表(网络与分布式架构)| 名词 | 全称/缩写 | 简单解释 || **南北流量** (North–South Traffic) | — | 数据中心和外部世界之间的流量,比如用户访问网站、APP 请求接口。
2025-09-01 17:34:21
1319
1
原创 Shell 编程进阶(二):信号捕获、Expect 与文本处理三剑客
信号(Signal)是操作系统用来和进程通信的一种机制。Ctrl+C会发送SIGINT信号,通常会中断程序。会发送SIGKILL信号,强制杀掉进程。SIGHUP通常表示终端关闭。信号捕获:让脚本更健壮,能优雅退出。Expect:自动化交互的神器。正则表达式:文本处理的通用语言。:Shell 世界里的“三剑客”,几乎无所不能。如果说函数和变量是 Shell 的基础,那这些工具就是你的“战斗装备”。掌握它们,你就能写出高效、自动化、专业的脚本。
2025-09-01 17:15:29
652
原创 Shell 编程:函数、变量作用域与数组全面解析
函数:让脚本模块化、复用化,减少重复劳动。变量作用域:通过local控制作用范围,避免全局污染。数组:批量管理数据,既支持顺序存储,又支持键值对。学会这三块内容,你会发现 Shell 不再只是“拼命写命令”的工具,而是可以构建优雅、健壮、可维护脚本的语言。如果你经常写脚本,强烈建议多用函数封装逻辑、合理规划变量作用域,并用数组管理数据结构——这样你的脚本将不仅能跑,还能跑得漂亮。Shell:命令解释器,是用户与操作系统内核交互的桥梁。常见的有 bash、zsh、sh。
2025-09-01 16:51:42
674
原创 C 风格判断/循环、并发检测、交互式 select 清单
本文介绍了 Bash 脚本中三种高级编程技巧:C 风格的条件/循环结构、并发任务处理以及交互式 select 菜单。主要内容包括: 条件判断的三种方式:(( )) 处理数值运算、[[ ]] 处理字符串/正则匹配、[ ] 用于 POSIX 兼容场景 C 风格的 for 循环语法 for ((...)),特别适合数值循环和数组索引遍历 并发任务实现方法:后台任务 & 配合 wait 等待,以及通过 xargs/parallel 控制并发度 select 命令创建交互式菜单,可结合 case 语句实现功能
2025-09-01 16:43:52
1023
原创 Shell 脚本实战:从 Nginx 管理到用户安全
Nginx 管理脚本→ 实战中的经典服务管理工具跳板机脚本→ 提升远程登录效率红绿灯模拟→ 练习流程控制的趣味案例用户登录锁定脚本→ 安全运维的必备思路这些脚本既有运维价值,也有学习价值。学会后你会发现:Shell 不是死板的命令拼接,而是能真正解决问题的小帮手。没问题!下面把上面四个实战脚本涉及到的专业名词/概念做一次系统、全面、可查可用的“术语手册”。是什么 → 做什么 → 常见用法/命令 → 和谁容易混。你可以直接把这一节粘到博客文末做“Glossary”。
2025-09-01 16:32:19
1101
原创 Shell 编程进阶:字符串处理、运算符、条件判断、元字符与流程控制全解析
本文全面解析Shell编程的核心技术:字符串处理、运算符、条件判断、元字符和流程控制。字符串处理提供文本切割拼接能力;运算符支持整数和浮点数计算;条件判断赋予脚本智能决策能力;元字符作为特殊符号扩展命令功能;流程控制则实现逻辑分支和循环结构。掌握这些技术能将Shell脚本从简单命令组合升级为高效自动化程序,是Linux系统管理和数据处理的重要工具。文章通过代码示例和形象类比,帮助读者理解这些Shell编程的关键要素。
2025-09-01 16:06:37
703
原创 Shell 编程:规范、变量与数据类型的通俗讲解
本文介绍了Shell编程的规范、变量使用和数据类型特点。Shell脚本需要遵循一定规范,如文件头注释、缩进排版和命名规则,以提高可读性和可维护性。变量定义时等号两边不能有空格,引用变量用$或${}。Shell是弱类型语言,所有变量默认作为字符串处理,在需要时会临时解释为数字。这种动态特性带来灵活性的同时也容易产生bug,因此编写Shell脚本既要灵活又要规范,才能保证代码质量。
2025-09-01 16:02:57
501
原创 使用 Python 自动化检查矢量面数据的拓扑错误(含导出/删除选项)
本文介绍了一个基于GeoPandas+Shapely的GIS拓扑检查与清洗脚本,可检测多边形矢量数据中的常见拓扑问题(非法几何、带洞要素、极小面、重复几何、同层重叠)。脚本提供三种处理方式:打印问题信息、导出问题要素到单独文件或直接删除问题要素。通过参数设置可灵活控制检查项和处理方式,支持CRS转换和几何修复功能,适用于GIS数据预处理和质量控制场景。
2025-08-31 17:12:54
427
原创 陆探数据处理
文章摘要:本文介绍了处理卫星数据文件的Python脚本集合,主要包括以下功能:1) 查找指定月份(9月)的原始数据文件;2) 检索轨道参数文件;3) 分类复制轨道文件到不同卫星目录;4) 单个和批量解压.tar.gz格式的压缩包。这些脚本使用os、re和shutil等标准库,实现了文件筛选、日期匹配、目录创建和文件解压等自动化操作,适用于处理大量卫星数据文件的场景。
2025-08-25 17:02:42
822
原创 编程语言分类与 Shell 脚本编写执行方式全解析
编程语言的分类方法有很多,这里我从执行方式、抽象层次和用途领域三个维度来分析。编译型语言解释型语言混合型语言(编译+解释)Shell 脚本是解释型脚本语言,核心用途是批量执行命令、自动化任务、系统管理。它不是单一语言,而是命令解释器(bash、zsh、dash)的脚本集合。Shebang(#!):指定脚本解释器(如 、)注释: 开头命令:系统命令、Shell 内置命令、用户自定义函数2.2 脚本执行方式方式 1:直接用解释器运行优点:不依赖脚本可执行权限缺点:必须显式指定解释器
2025-08-11 11:40:04
1013
原创 深入解析 Linux 内核防火墙:你的网络安全卫士
Netfilter 内核执行流程与 iptables 规则存储结构分析 Netfilter 是 Linux 内核的钩子框架,通过五个关键 HOOK 点(PREROUTING、INPUT、FORWARD、OUTPUT、POSTROUTING)拦截网络数据包。内核通过 nf_register_net_hook() 注册处理函数,并按优先级顺序执行。每个 HOOK 点可返回 NF_ACCEPT、NF_DROP 等状态决定数据包命运。 iptables 规则在内核中以 xt_table 结构存储,包含规则数组和各
2025-08-11 11:30:40
1107
原创 GPT-5 使用指南:从小白到生产力外挂的全流程攻略
摘要: GPT-5是OpenAI 2025年推出的多模态大模型,具备更强的推理能力、多模态交互和个性化记忆功能。本文提供从基础到进阶的使用指南:介绍其核心能力(如文案创作、编程辅助、数据分析等),详解Prompt工程技巧(角色设定、任务说明等),推荐高效工作模式(单次问答、持续会话、文件处理),并列举常见问题解决方案。此外,分享私藏工作流(资料处理、代码协作等)和工具联动方法(浏览器插件、API集成等),强调用户需优化输入质量与迭代反馈,将GPT-5作为思维合作者而非万能工具,以最大化生产力提升。
2025-08-11 10:49:51
1282
原创 SSH、cron/定时任务(含 systemd 定时器 & Kubernetes CronJob 对比)、监控脚本开发
摘要 SSH(Secure Shell)是一种提供加密、鉴权和完整性校验的安全远程通信协议,核心功能包括端口转发、跳板连接和文件传输。其工作流程涵盖密钥交换、主机验证和用户认证,配置需注意安全加固如禁用密码登录、限制用户权限等。cron是Unix系统的时间任务调度器,通过crontab语法定义定时任务,需注意环境变量和路径问题,现代替代方案包括systemd timers和Kubernetes CronJob。监控脚本开发需关注可用性探测、健康指标采集和日志分析,编写时需确保健壮性和超时处理,避免告警风暴。
2025-08-11 10:46:10
714
原创 命令行的魔法世界:Shell 编程基础入门指南
《命令行的魔法世界:Shell 编程基础全景指南》通过生动比喻介绍了Shell编程的核心概念与应用价值。文章将Shell比作"魔法助手",从基础命令、变量操作、流程控制到函数封装,系统讲解了条件判断、循环、输入输出重定向等核心语法。特别强调了数据类型(字符串)、脚本调试和安全编程习惯,并提供了从入门到进阶的系统学习路径,包括日志分析、自动化部署等实战场景。全文以"魔法咒语"为喻,将技术概念形象化,帮助读者理解Shell作为Linux系统强大自动化工具的价值与使用方法。
2025-08-11 10:41:13
795
原创 一封信的奇幻旅程:Linux 内核的发包与路由冒险
《一封信的奇幻旅程》以拟人化手法讲述了Linux内核中数据包的传输过程。文章将TCP/IP协议栈比作一个繁忙城市,描述了一个数据包从用户空间的send()调用开始,历经传输层封装、IP路由查询、MAC地址解析、流量控制队列,最终通过网卡驱动发送的完整旅程。通过"路线规划师"、"邻居办公室"、"Qdisc车站"等生动比喻,解释了内核中的路由表查询(FIB)、ARP协议、流量调度(Qdisc)等关键技术。文章最后揭示了内核调用链的技术细节,帮助读者理解
2025-08-11 10:36:21
1141
原创 Linux 内核发包流程与路由控制实战
发包路径:用户态 → 内核协议栈(L4→L3→L2)→ TC 队列 → 网卡驱动 → DMA → 链路路由决策策略路由优先于常规路由查找过程遵循最长前缀匹配实战技巧ip rule+ 自定义路由表iptables性能优化多队列 + RSSGSO/TSOXDP/eBPF合理的 ARP 缓存与路由压缩。
2025-08-08 23:55:30
801
原创 僵尸进程、孤儿进程、进程优先级、/proc 文件系统、CRC 与网络溢出问题处理(实战 + 原理)
这套知识覆盖了进程生命周期(僵尸/孤儿)、调度与优先级(CPU/I/O/实时与 cgroup)、内核观测入口(/proc)、以及数据可靠性与网络韧性(CRC 与溢出治理)的“地基”。真正的生产环境里,观察—定位—缓解—根因—固化是闭环:先稳住现场,再补齐架构与自动化,把问题关进历史。
2025-08-08 23:42:56
755
原创 进程管理、系统高负载、cpu超过800%等实战问题处理
文章摘要:本文系统介绍了生产环境中CPU高负载(如飙到800%)的分析处理流程。首先讲解进程管理基础,包括进程状态、常用命令和CPU调度算法。其次分析高负载类型(CPU密集、I/O密集等)及判别方法,解释多核CPU使用率超100%的原理。重点提供实战排查思路:定位高占用进程/线程(top/jstack)、分析CPU类型(用户态/系统态)、临时处置措施(renice/cpulimit)等,并给出Java应用线程堆栈分析的完整案例。最后提出预防建议,包括监控告警、资源池优化和容量规划。全文强调建立系统化排障思维
2025-08-08 23:40:17
825
原创 软件包管理、缓存、自定义 YUM 源
摘要: Linux软件包管理器(如yum/apt)集应用商店与安装功能于一体,负责下载、安装、升级及卸载软件,并管理依赖关系。缓存机制(如/var/cache/yum/)可加速重复安装和离线操作,支持清理特定缓存文件。自定义YUM源(通过/etc/yum.repos.d/配置)适用于加速下载、内网环境或版本控制,支持HTTP、FTP或本地路径。企业场景中,可离线下载RPM包并搭建私有仓库(使用createrepo生成元数据),供内网服务器使用。
2025-08-08 23:33:33
514
原创 用户组权限及高级权限管理:从基础到企业级 sudo 提权实战
在 Linux/Unix 系统里,权限管理不是一个可有可无的小功能,而是。无论是个人电脑、企业服务器还是云环境,权限配置直接影响系统的稳定性和安全性。
2025-08-08 23:30:05
616
原创 文件管理从基础到高级:文件描述符、超大文件切片重组与快速删除实战
有了 FD,电脑不必每次都重新找书,而是凭“牌号”直接去定位和取用。想象你去图书馆借书,前台不会直接把书给你,而是给你一个。电脑用这个编号来记住你打开的是哪本书、翻到哪一页。**目录(文件夹)**就像你家的房间。
2025-08-08 23:24:45
194
原创 文件管理从基础到高级:文件描述符、超大文件切片重组与快速删除实战
本文介绍了Linux/macOS环境下从基础到高级的文件管理技术。主要内容包括:1) 基础文件管理,涵盖路径类型、权限、链接、稀疏文件等;2) 文件描述符核心概念与I/O性能优化;3) 大文件切片与重组方法,包括命令行工具和Python脚本实现;4) 快速删除技巧,针对海量小文件场景提出高效解决方案。文章提供了丰富的命令行示例和代码片段,适合系统管理员、运维工程师和数据工程师参考,帮助提升文件处理效率和系统性能。
2025-08-08 23:22:54
965
原创 系统构成与 Shell 核心:从零认识操作系统的心脏与外壳
操作系统由内核(Kernel)和Shell等核心组件构成。内核是系统的"心脏",直接控制硬件资源;Shell则作为用户接口,负责接收并解释命令传递给内核。系统还包含文件系统、工具库等模块。Shell既是命令解释器,也是脚本执行环境,有多种实现如Bash、Zsh等。用户通过Shell输入命令后,Shell调用内核API完成操作,最终返回结果。理解内核与Shell的关系(类似厂长与前台)是掌握操作系统运行原理的关键。
2025-08-08 23:19:57
686
原创 计算机网络 全网最生动的解释
OSI 七层:每层都有明确分工VLAN:二层逻辑隔离SDN:集中控制网络路径南北流量:内部 ↔ 外部东西流量:内部 ↔ 内部网络不是抽象的概念,而是每一次网页加载、每一条消息背后的无形旅程。
2025-08-08 23:17:04
925
空空如也
vue前端 请求不到 django后端
2021-10-01
django项目,数据接口报错,在xadmin下拿不到数据
2021-09-29
django用xadmin,提示错误
2021-09-28
TA创建的收藏夹 TA关注的收藏夹
TA关注的人
RSS订阅