- 博客(112)
- 收藏
- 关注
RSS订阅
原创 AI系统性学习—LangChain入门
LangChain是一个开源的Python库，它提供了构建基于大模型的AI应用所需的模块和工具。通过LangChain，开发者轻松地与大语言模型（LLM）集成，完成文本生成、问答、翻译、对话等任务。LangChain降低了AI应用开发的门槛，让任何人都可以基于LLM构建属于自己的创建应用。LLM和Prompt：LangChain对所有LLM大模型进行了API抽象，统一了大模型访问API，同时提供了Prompt提示模型管理机制。Chain：这些是对LLM或其他使用程序的调用序列。
2024-03-19 17:26:06
2757
原创 大模型推理01：vLLM部署Qwen3-4B
本文介绍了如何使用vLLM部署Qwen大语言模型进行推理。首先创建Python环境并安装依赖包，通过HuggingFace下载Qwen3-4B模型。然后分别演示了使用transformers和vLLM进行推理的方法：transformers通过编写Python脚本实现本地推理；vLLM则可以直接部署为API服务，通过curl发送请求获取模型响应。文中还展示了模型在伦理问题上的严谨回答，明确拒绝了虚假身份的要求，坚持事实立场。整个过程涵盖了从环境配置到模型部署的完整流程，为开发者提供了大模型本地部署的实用参考
2025-10-12 16:21:08
623
原创 混合专家模型（MoE）详解
模型规模是提升模型性能的关键因素（Scaling Law）。在有限的计算资源情况下，用更少的iter训练一个更大模型往往比用更多的iter训练一个更小模型效果更佳。而MoE相比于稠密模型相比在远少于所需的计算资源下进行有效的训训练。这意味着在相同的计算预算条件下，可以显著扩大模型或数据集的规模。一个典型的MoE架构如下图所示：混合专家模型基于Transformer架构，其核心包含两个主要组件：取代传统Transformer的前馈网络(FFN)层由多个独立的"专家"网络组成（通常为8个）
2025-09-21 16:00:47
1232
原创 Python高级特性学习
在 Python 里，装饰器（decorator）其实就是一种用函数（或类）去“包装”另一个函数（或类）的语法糖。它的作用是：在不修改原函数（或类）代码的情况下，动态地为它添加功能。
2025-08-16 11:01:23
614
原创 论文解读：Mamba: Linear-Time Sequence Modeling with Selective State Spaces
Mamba：基于选择性状态空间模型的线性时间序列建模Mamba架构，解决了Transformer在长序列处理中的效率瓶颈问题。通过引入选择性状态空间模型(Selective SSM)，Mamba实现了基于内容的动态信息筛选，显著提升了序列建模能力。核心创新包括：1)输入参数化的选择性机制，使模型能智能过滤无关信息；2)硬件感知算法，在循环模式下实现高效并行计算；3)简化的分层架构设计。实验表明，Mamba-3B模型在语言建模任务中超越同规模Transformer，推理速度提升5倍且支持线性扩展的序列长度。
2025-08-05 22:48:33
982
原创 AI关键知识点汇总
深度学习训练与优化技术摘要 本文介绍了深度学习领域的关键训练与优化技术，包括： 训练调度：区分Epoch（完整遍历数据集）和Iteration（单个batch训练）的概念与应用场景。 混合精度训练：通过FP16/BF16与FP32的混合使用提升训练效率，并分析不同NVIDIA架构的支持特性。 梯度优化技术： 梯度累加：通过小batch累积模拟大batch效果 梯度检查点：以计算换内存，选择性保存中间激活值 模型推理优化： GGUF格式：专为高效推理设计的二进制格式 推测性解码：大小模型协同工作的加速技术 函
2025-07-13 09:25:22
385
原创 互联网常见专业素语
本文整理了互联网行业常见的专业术语，重点介绍了A/B实验和北极星指标。A/B实验指通过分流测试不同策略对关键指标的影响。北极星指标是企业最核心的业务指标，需具备反映核心价值、易理解等特点，文中列举了电商、问答等领域的典型案例，并强调指标拆解的重要性，通过将总目标分解为子指标分配给各团队，便于目标管理和责任追溯。内容简明扼要，适合快速回顾专业术语要点。
2025-07-04 09:52:14
212
原创 深入解析PyTorch中MultiheadAttention的参数key_padding_mask与attn_mask
在multiheadattention中存在两个mask，一个参数是key_padding_mask，另外一个是attn_mask，尽管这两个参数是被人们所熟知的填充掩码和注意力掩码，但是深度理解以便清晰区分对于深刻理解该架构非常重要。
2025-05-19 13:37:30
944
原创 【已经解决诸多问题】Mamba安装
mamba被称为新一代的计算架构，因此在CV和时序领域存在诸多的方案开始采用这一新架构，但是这个架构的安装过程中存在诸多问题！！！！为了更好帮助大家理解我们给出一个统一的安装流程！！！
2025-05-18 17:59:01
1575
原创 深入解析PyTorch中MultiheadAttention的参数add_bias_kv与add_zero_attn
本文探讨了PyTorch中MultiheadAttention模块的两个不常见参数add_bias_kv和add_zero_attn的作用及其在时序场景中的应用。add_bias_kv通过在key和value序列的开头添加可学习的偏置向量，类似于BERT中的[CLS] token，为模型提供全局上下文信息。add_zero_attn则在key和value序列中插入零向量，为模型提供“不关注任何输入”的选项，适用于某些任务中的信息缺失情况。文章通过二维矩阵和三维张量的示例，逐步展示了这些参数在张量变换中的具体
2025-05-11 16:31:43
1092
原创 如何管理两个Git账户
在开发过程中，我们有时需要同时使用 多个 Git 账户（如个人 GitHub 账户和公司 GitLab 账户）。但由于 Git 默认使用全局配置，可能会导致提交信息混乱、权限冲突等问题。本文将介绍如何在同一台机器上 安全、高效地管理多个 Git 账户。
2025-05-06 17:44:44
713
原创 深度学习中常用的符号表达式
在论文写作过程中，常常涉及到一些关键的符号的表达，为了更加规范常用的一些符号表达，现将其总结如下：xxXXIxixixixijXijXijXZRRnnRa×babA∪BABA∩BABA∖BABBAf⋅)log⋅)exp⋅)1X(⋅⊤X−1⊙[⋅⋅]∣X∣∥⋅∥pLp∥⋅∥2L2⟨xy⟩xy=defdxdyyx∂x∂yyx∇xyyx∫abfx。
2025-05-06 11:06:15
1151
原创 Kubernetes Pod 健康问题：CrashLoopBackoff
搭建 Prometheus 的过程中，alertmanager-main 的 Status状态为. 我的alertmanager-main svc下有三个alertmanager-main-0 alertmanager-main-1 alertmanager-main-2。
2024-06-20 15:22:21
474
原创 Golang:malformed module path “xxx“: missing dot in first path element
首先，这个问题往往是在golang中引入自己创建的包时发生的错误。解决方案如下。
2024-06-06 11:28:11
1476
原创 python操作minio中常见错误
错误4:'utf-8' codec can't decode byte 0xa1 in position 10: invalid start byte
2024-05-07 10:37:22
2235
原创 Golang中四种gRPC模式
应用层传输安全（ALTS）是谷歌开发的一种相互验证和传输加密系统。它用于确保谷歌基础设施内 RPC 通信的安全。ALTS 类似于相互 TLS，但经过设计和优化，可满足 Google 生产环境的需要。使用ALTS作为传输协议创建gRPC的服务端和客户端；ALSTS是一个端到端的保护，具有隐私性和完成性；应用可以访问对等信息比如对等服务账户；支持客户端和服务端的认知；最小的代码更改就能使用ALTS；值得注意的是ALTS被全部发挥作用如果应用程序运行在CE或者GKE中。
2024-03-29 19:15:13
1760
原创 AI系统性学习05—向量数据库
Qdrant是一个开源向量数据库，专为下一代AI应用程序设计。它是面向云原生的，并提供RESTful和gRPC API以管理嵌入。Qdrant的特性强大，支持图像、语音和视频搜索，以及与AI引擎的集成。向量数据库是一种专门设计用于高效存储和查询高维向量的数据库。在传统的OLTP和OLAP数据库中（如上图所示），数据以行和列的方式组织（这些被称为表），查询是基于这些列中的值进行的。
2024-03-18 17:07:03
5731
原创 AI系统性学习04—文本嵌入模型
文本嵌入（text embedding）是自然语言中的一个中重要概念，它的目标是将文本的词表示成固定长度的稠密向量，也称为词向量（word vector）。例如：Girl和Boy，Queen和King，Sport和Game这三对词都有相近的意思，所以他们文本向量的几何距离都比较接近。操作中，文本嵌入可以通过神经网络模型进行无监督学习得到，比如word2vec中的CBOW、SKIP-GRAM模型、GloVe等。这些模型通过大规模文本的统计信息来学习每个词的向量表示。
2024-03-18 15:31:02
2957
原创 AI系统性学习06—开源中文语言大模型
ChatGLM-6B的github地址：https://github.com/THUDM/ChatGLM-6BChatGLM-6B 是一个开源的、支持中英双语的对话语言模型，基于 General Language Model (GLM) 架构，具有 62 亿参数。结合模型量化技术，用户可以在消费级的显卡上进行本地部署（INT4 量化级别下最低只需 6GB 显存）。ChatGLM-6B 使用了和 ChatGPT 相似的技术，针对中文问答和对话进行了优化。
2024-03-18 08:29:33
594
原创 AI系统性学习03—ChatGPT开发教程
实际上，官网提供了python和node.js的sdk，因此在这里不做过多的赘余，针对类似Go语言，目前也有一些封装的SDK，以下是通过Go 的做出的演示：3、OpenAI API KEY&API 认证如果你有账号可以自己去创建这里的API KEY如果没有可以通过某宝直接搜API KEY购买即可，跳过注册账号的一步，不过仍然建议自己去申请账号然后获取KEY。OpenAI API使用API密钥进行身份验证。主要是通过http请求头设置前面提到的API KEY即可API认证例子输出如下4、O
2024-03-17 11:48:46
1872
原创 OpenAI开发中常见错误：OpenAIError和BadRequestError
在通过openai创建客户端必须要设置api key，如果你事先已经在本机的环境中设置未起效可以手动设置，注意手动设置时不要用下面的形式。
2024-03-17 11:48:02
23213
7
原创 AI系统性学习01- Prompt Engineering
基础LLM和指令微调LLM。基础LLM：假设你以“从前有一只独角兽”作为提示，基础的LLM可能会继续预测“生活在一个与所有的独角兽朋友的神奇森林中”。但是如果以"法国的首都是什么？，其回答可能为"法国的人口是多少？法国最大的城市是什么？。因为其训练的语料可能是有关法国国家的问答题目列表。指令微调LLM：指的是被训练来能够遵循特定指令的LLM。而这样的模型通常是在基础LLMs上，使用输入的指令、输出是其应该返回的结果来对其进行微调，要求它遵循这些指令。
2024-03-14 22:49:45
1513
原创 构建LangChain应用出现的TypeError错误
错误原因是引入ChatOpenAI的包不对，原始的引入是。即可，修改上面2处问题后，即可正确运行代码。
2024-01-04 15:33:52
3422
原创 报错解决MaxRetryError(“HTTPSConnectionPool(host=‘huggingface.co‘, port=443):xxx“)
那我的机器就是没有数据传输过来，当然前提是你自己的服务器一定要有网络连接（可以尝试ping www.baidu.com来检测自己机器是否有网络）。首先造成这种错误的原因主要是因为你的服务器没有办法连接huggingface的原因，你可以直接在你的服务器上尝试能否直接ping。就可以运行你的代码了，但是这里运行的时候有个小问题，
2023-10-03 20:08:50
40253
13
原创 Golang使用消息队列（RabbitMQ）
最近在使用Golang做了一个网盘项目（类似百度网盘），这个网盘项目有一个功能描述如下：用户会删除一个文件到垃圾回收站，回收站的文件有一个时间期限，比如24h，24h后数据库中记录和oss中文件会被删除，在之前的版本中，可以使用定时任务来检查数据库记录中删除时间来判断是否删除，但是这不是最佳的，因此考虑如何基于RabbitMQ来实现这个功能。
2023-08-20 20:15:19
1398
原创 Golang使用MinIO
最近在使用Golang做了一个网盘项目（学习），文件存储一直保存在本地（各厂商提供的oss贵），所以就在思考怎么来处理这些文件，类似的方案很对hdfs、fastdfs，但这其中MinIO是最近几年比较火热的一个项目，所以尝试使用这个试一试。
2023-08-18 17:10:25
3078
1
原创 解决Debian10乱码以及远程连接ssh的问题
为了使用xshell或者finallshell这样的工具，我们有必要来正确配置一哈ssh文件。在正式配置文件之前，确定自己已经下载ssh，如果没有就使用apt-get进行下载。输入上述命令后会进入到以下页面【然后输入reboot重启即可。看见上面的都done了即可。
2023-07-31 15:44:04
965
原创 误操作zsh或bash_profile导致conda不能使用
我当时因为把整个跟conda有管的全部删除了，所以直接使得conda命令也不能使用了，你可以通过以下命令查看成功输出的话，表示你的conda没问题，你可以直接跳到第5步，如果这一步显示,那说明你的conda命令被从环境中删除了，需要重新配置一哈环境，很简单。
2023-06-03 10:54:37
1490
原创 消息认证码以及数字签名的认识
从哈希函数入手，将需要发送的数据进行哈希运算，将哈希值和原始值一并发送，需要在进行哈希运算的时候引入加密的步骤。在user1对数据进行哈希运算的时候引入一个密钥，让其参与哈希运算，生成的散列值一并发送。这一行为一般是有消息的接受者来完成的，但也可以由需要验证消息的第三方来完成。生成签名就是对消息内容计算数字签名的值。相比于上面的RSA加密方式，如果你的message比较大，需要设置一个合适的bits，但是椭圆曲线不需要这样的问题。在进行这一步的前提是你已经生成了这样一对的RSA的密钥对（以文件的形式）。
2023-05-12 14:42:06
3387
原创 后端常用的加密算法及hash运算
对称加密加密算法分组长度密钥长度DES8字节8字节3DES8字节24字节AES16字节16字节、24字节、32字节分组模式分组模式推荐条件EBC不推荐CBC常用方式初始化向量（长度等于明文分组长度）OFB不推荐CFB不推荐CTR推荐，效率高初始化向量（长度等于明文分组长度）简单来说，就是通过哈希算法，我们可以得到一段标识的唯一信息。
2023-05-10 17:36:10
2736
原创 简单理解内存分页机制
因为系统空间是所有进程共享的，所以对应的页表也是共享的，而大多数进程并不会申请大量的用户空间内存，用不到的页表也不会被分配，所以进程的页表是。想象一下下面这样的场景，因为没有页表机制，所以类似如下图这种段式访问是直接作用于物理内存上的，那如果现在一个新的进程需要11M的空间，按照目前的内存划分情况，即使总的空闲区域的内存空间是能满足需要的，但是由于物理内存的连续性，造成了这种。，然而硬件32位的地址总线只能寻址4GB的物理内存，在多进程的操作系统上，每个进程能够映射到的物理页面远远不足2GB。
2023-04-26 20:37:51
1643
原创 Golang程序报错：fatal error: all goroutines are asleep - deadlock
先分析可能发生阻塞的地方；【尤其是管道读取的地方】从主函数入手，依次分析并理清阻塞处的逻辑执行顺序；针对一块阻塞处，判断其写操作会不会在其后面，程序永远到不了；理清调用链逻辑，确定协程开启的地方。【开启协程的地方不会阻塞，立即往下执行】如果实在还无法执行，将你的代码post到评论区，让大家一起帮你解决！
2023-04-12 20:10:44
2100
1
原创 Golang中是否可以无限开辟协程以及如何控制协程的数量？
例如使用一个有缓冲的channel。当channel满了的时候，其会发生阻塞，避免一直不断的开辟goroutine。按照上面的方式使得能够一直运行。其实实际上，执行的只有3个（还有一个main goroutine）。这些资源实际上是用户态程序共享的资源，所以大批的goroutine最终引发灾难不仅仅是自身，还会关联其他运行的程序。，直到之前三个中有一个完成了任务，阻塞接触，才开辟一个新的goroutine。首先我们在linux操作系统上运行以下这段程序，看会发生什么？我们知道goroutine具备。
2023-04-11 11:26:21
2139
原创 Golang：impossible type switch case或cannot have dynamic type
这段代码的目的是Phone和Car分别识别Usb接口，但是Phone有一个自己的私人方法Call，然后Car有一个私人方法Run。相通过类型的断言搭配switch在Factory函数中进行指定函数的调用。
2023-04-10 16:21:10
933
原创 使用Golang完成一个内存局部性测试实验
上述是验证特征的一段代码。如果step选择3，第一次遍历会被遍历的nums下标为0、3、6、9、12……，第二次遍历会遍历的nums下标为1、4、7、10、13……，第三次遍历会遍历的nums下标为2、5、8、11、14……。那么三次外循环就会将全部遍历完整个nums数组。
2023-03-30 09:41:14
1054
mamba-ssm-1.1.1+cu118torch2.1cxx11abiFALSE-cp310-cp310-linux-x86-64.whl
2025-05-18
causal-conv1d-1.1.3+cu118torch2.1cxx11abiFALSE-cp310-cp310-linux-x86-64.whl
2025-05-18
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人