aschier的博客

计算机领域常用概率学公式的代码实现教程

P2P打洞技术原理与实现 本文深入探讨了P2P打洞技术，重点分析了NAT设备对点对点通信的影响及解决方案。文章首先阐述了打洞技术的必要性，指出NAT设备会阻止未经请求的外部连接，导致P2P应用难以建立直接通信。随后详细介绍了四种NAT类型（完全圆锥型、限制圆锥型、端口限制圆锥型和对称型）及其对通信的不同限制程度。文章重点讲解了UDP打洞原理，通过中间服务器协调，使两个客户端同时向对方公网地址发送数据包，触发各自NAT设备建立映射关系，从而实现直接通信。最后提供了基于Go语言的UDP打洞实现示例代码，展示了具

本文介绍了数据压缩的基本理论和算法实现。数据压缩分为无损和有损两种类型，无损压缩能完全恢复原始数据，适用于文本等场景；有损压缩通过牺牲部分信息获得更高压缩比，适用于多媒体数据。重点讲解了两种无损压缩算法：霍夫曼编码基于字符频率构建最优前缀编码，算术编码则将整个消息编码为0-1之间的实数。文章详细阐述了算法原理，并提供了Golang实现示例，包括霍夫曼编码的优先队列构建和算术编码的区间分割方法。这些算法在信息论指导下，通过不同方式逼近数据压缩的理论极限，满足不同应用场景的需求。

Flex与Bison快速入门指南：构建脚本语言前端 本文介绍了如何使用Flex和Bison工具构建脚本语言前端。首先讲解了词法分析(使用Flex)和语法分析(使用Bison)的基本原理，然后详细说明了在不同操作系统下的安装配置方法。教程通过单词计数和简单计算器两个示例，展示了Flex和Bison的基础语法结构和工作流程，包括定义部分、规则部分和用户子程序部分的编写，以及如何生成并编译代码。特别对计算器案例进行了完整展示，涵盖词法分析器、语法分析器的实现，以及运算符优先级的处理。本指南适合有一定C语言基础的开

BriLLM：颠覆性类脑语言模型架构 上海交通大学赵海教授团队提出的BriLLM（Brain-inspired Large Language Model）创新性地采用信号全连接流动（SiFu）机制，在大脑宏观尺度上模拟人脑信息处理方式，彻底颠覆了传统Transformer架构。BriLLM通过有向图结构实现完全可解释性，每个节点映射到特定token，边实现双向信号传输，模拟神经电生理活动。相比Transformer，BriLLM具有与输入长度无关的计算复杂度、无界上下文处理能力以及固有多模态兼容性。其基于能

本文系统梳理了大语言模型(LLM)的数学基础和Transformer架构实现原理。首先介绍了支撑LLM的三大数学理论：线性代数(矩阵运算和向量空间)、概率论(条件概率和贝叶斯定理)以及微积分(梯度计算和链式法则)。随后重点解析了Transformer架构的核心组件，包括自注意力机制、多头注意力机制和位置编码方法。最后通过C语言代码实现了矩阵乘法和自注意力机制，并讨论了优化策略。全文为理解LLM底层原理提供了系统的数学视角和实用的编程实现方案。