- 博客(442)
- 资源 (1)
- 收藏
- 关注
RSS订阅
原创 【python|attention】注意力机制代码
every blog every motto: You can do more than you think.0. 前言梳理目前主流的注意力机制代码，目前以pytorch为例。说明： 特征图维度的组织形式为：（batch,channel,height,width）1. 正文1.1 SEBlock 2017考虑通道间的注意力之间的关系，在通道上加入注意力机制论文：https://arxiv.org/abs/1709.01507代码：https://github.com/hujie-frank
2021-06-27 09:31:35
34772
21
原创 【tf.keras.Model】构建模型小结（部分问题未解决）
every blog every motto: You can do more than you think.0. 前言对于构建深度学习网络模型，我们通常有三种方法，分别是：Sequential APIFunctional APISubclassing API说明： 推荐使用functional API.本文主要对有关子类API（tf.keras.Model）构建模型时“两种方法”进行比较分析。注： 为保持文章的完整性，本文仅就部分问题进行探讨，后续问题见下一篇博文。1. 正文
2020-10-27 22:11:58
3007
4
原创 【Tensorflow、Keras】关于Reshape层小结（部分问题未解决)
every blog every motto: We would rather reuse an active dwarf than a sleeping giant.0. 前言reshape层说起来不复杂，就是改变特征图的尺寸，但在实际过程中，却发现了有意思的问题，遂记之。暂未解决。1. 在模型中1.1 Keras的Reshape1.1.1 Keras正常情况代码部分from keras.layers import *input = Input((16, 16, 3))print
2020-06-22 21:09:13
7679
2
原创 【目标检测】two-stage------Mask R-CNN浅析-2018
every blog every motto: There’s only one corner of the universe you can be sure of improving, and that’s your own self.https://blog.youkuaiyun.com/weixin_39190382?spm=1010.2135.3001.5343Mask rcnn 梳理Mask-RCNN 主要在Faster R-CNN的基础做了两点改进：梗概： 输入是原图，输出是经过resnet和FPN处理后
2025-11-19 22:27:11
703
原创 【点云】point Transformer V1文章梳理
将Transformer引入到点云中（不确定之前是不是有人这么做）采用unet形式由于点云的特点，使用最远点采样+knn，获取局部点注意力机制方面的改进注意力和特征都加位置编码用”领域特征-中心点特征“作为权重（还要加上位置编码）权重部分还会经过一个MLP2020.12.16。
2025-10-19 20:26:35
1310
原创 【Transformer】mask2former论文梳理
mask2former，是maskformer的改进版本，主要有两个，一个添加了多尺度信息，另一个是mask attention，mask attention一个好处是计算量减小，另一个是更加关注细粒度的分割问题。
2025-10-15 19:56:28
734
原创 【Transformer】maskformer论文与代码梳理
maskformer论据梳理简单说：之前的“分割”任务，大多数是对每个像素进行分类.而maskformer将其分开来看，一个是分类预测，一个掩码预测。
2025-10-15 19:44:10
923
原创 上线啦 | LLM 技术资源导航：一站式 AI 文档与工具索引（中/英）
过去两年，大语言模型相关生态飞速发展：从 Chat 应用到训练/推理框架、从 RAG/Agent 到评估体系，信息分散且更新快。为此，我们上线了“LLM 技术资源导航”，把高质量的文档、工具与平台集中到一个页面，支持中英切换与搜索直达，助你快速找到靠谱资料并上手使用。
2025-08-21 18:26:06
865
原创 【LLM实战|MCP】MCP基础
MCP介绍在MCP中规定了唯一的标准消息格式，就是JSON-RPC 2.0JSON-RPC 2.0是一种轻量级的、用于远程过程调用（RPC）的消息交换协议，使用JSON作为数据格式它不是一个底层通信协议，只是一个应用层的消息格式标准。这种消息协议的好处，与语言无关(还有语言不支持JSON吗)、简单易用(结构简单，天然可读，易于调试)、轻量灵活(可以适配各种传输方式)为实现 LBS 服务与 LLM 更好的交互，高德地图 MCP Server 现已覆盖12大核心服务接口，提供全场景覆盖的地图服务。
2025-08-19 16:47:57
1048
原创 ModuleNotFoundError: No module named ‘vllm._C‘
之前明明已经操作过一次了，就说嘛，之前都安装成功了，咋这次不行。。。，怎么换了个多个方法还是安装不上。。。。记录记录。
2025-08-14 20:57:38
255
原创 【LLM实战|llamaIndex】llamaIndex介绍和RAG
【LLM实战|llamaIndex】llamaIndex介绍和RAG!!!!Workflow,StopEvent,step,Context,Event,# 事件：找到了数据库中相关的表query: str# 事件：文本转为了 SQLsql: strquery: strself,llm,*args,**kwargs) -> None:@step@step@stepllm,========================
2025-08-09 16:13:49
886
原创 【智能体agent入门】3.2框架semantic kernel--tool(plugin)使用
semantic kernel 框架中tool的使用。
2025-08-01 10:40:11
461
原创 【智能体agent入门】3.1框架autoGen--tool使用
autoGen框架 tool使用"""Args:Returns:"""else:")
2025-08-01 10:25:46
290
原创 【智能体agent入门】2.2框架---autoGen
智能体框架之semantic_kernal既然我们已经设置好了client并确认其运行正常，接下来让我们创建一个AssistantAgent。- 简短的标识名，便于在多智能体协作流程中调用- 之前步骤中创建的客户端实例- 该智能体可调用以完成任务的功能工具- 定义大语言模型任务目标、行为规范和语调风格的元提示词tools=[],
2025-07-31 20:58:17
338
原创 【大模型入门】2.注意力机制
此外，在这个具体的例子中，我们使用了 50% 的 dropout 率，这意味着我们随机屏蔽一半的注意力权重。在这种情况下，PyTorch 中的矩阵乘法实现将处理 4 维输入张量，使得矩阵乘法在最后两个维度（num_tokens, head_dim）之间进行，然后对每个注意力头分别执行。（在本书中，我们遵循常见的机器学习和深度学习惯例，其中训练样本表示为行，特征值表示为列；类似地，其他图表中的数字也可能存在截断的情况）在自注意力机制中，首先计算注意力分数，然后对其进行归一化，以得出总和为 1 的注意力权重。
2025-07-31 12:12:04
857
原创 【大模型入门】1.数据处理
因为嵌入层(embedding layer)只是独热编码和矩阵乘法方法的更高效实现，它可以被视为一个神经网络层，可以通过反向传播进行优化。相反，GPT-2 使用字节对编码（BPE）分词器，将单词分解为子词单元，我们将在后续部分讨论该方法。对于那些熟悉独热编码(one-hot)的人来说，上述的嵌入层方法本质上只是实现了独热编码后接矩阵乘法的更高效方式，这在。我们将在后面的章节中处理下一个词预测(next-word prediction)问题，届时我们将介绍注意力机制。在本书中，我们主要关注文本嵌入。
2025-07-31 12:05:22
609
原创 【设计模式】1.简单工厂、工厂、抽象工厂模式
以下是简单工厂模式工厂方法模式和抽象工厂模式核心思想：创建一组相关或依赖的对象（产品族），而不需指定具体类。适用场景：需要创建多个系列的产品（如跨平台的 UI 组件）。# 抽象产品族passpass# Windows 产品族return "Windows 按钮"return "Windows 复选框"# Mac 产品族return "Mac 按钮"return "Mac 复选框"# 抽象工厂passpass# 具体工厂# 使用print(f"
2025-06-08 18:01:01
846
原创 【多模态】IMAGEBIND论文阅读
IMAGEBIND 多模态论文梗概IMAGEBIND是一种夸模态的神经网络，以图片为中心，联合六中模态的网络（图片、文字、音频、深度图、热力图、惯性测量单元）
2025-05-11 18:03:59
1353
1
原创 【python|二分|leetcode441】一题搞清楚二分区间问题---闭区间、左闭右开、左开右闭、全开区间
一题搞清楚二分区间问题—闭区间、左闭右开、左开右闭、全开区间* <=是闭区间* < 开区间，具体哪种由mid的取值决定* m = (left + right)//2，向下取整，所以left能够取到，左闭右开 `[)`* m = (left + right + 1)//2, 向上取整，right能够取到，左开右闭 `(]`
2025-03-11 15:31:23
969
原创 【LLAMA】羊驼从LLAMA1到LLAMA3梳理
LLAMA 1到3梳理在之前的大语言模型(GPTs)中，基于模型越大效果越好进行实验。然而，Hoffmann等人（2022）最近的工作表明，对于给定的计算预算，最佳性能不是由最大的模型实现的，而是由经过更多数据训练的较小模型实现的。Hoffmann等人（2022）的缩放定律的目标是确定如何最佳地缩放特定训练计算预算的数据集和模型大小。然而，这个目标忽略了推理时间，这在大规模服务语言模型时变得至关重要。因为大部分社区用户其实没有训练 LLM 的资源，他们更多的是拿着训好的 LLM 来推理。
2025-02-19 19:03:54
1421
原创 【GPT】从GPT1到GPT3
从GPT1 到GPT3时间模型参数量层数词向量长度训练数据2018.6GPT1117M127685G2019.2GPT248160040G2020.5GPT3175B3612288570G关于参数，如下是GPT2-small示例：参考。
2025-02-19 16:07:29
1630
银行业上海浦东发展银行西安分行个金客户经理考核管理办法：职位设置、业绩与质量考核及待遇规定
2025-08-08
MVTec LOCO AD dataset 之 juice-bottle
2024-06-06
机器学习实战：基于Scikit-Learn、Keras和TensorFlow
2023-12-28
Hands-On Deep Learning Architectures with Python Create deep neu
2023-12-28
Hands-On Genetic Algorithms with Python: Applying genetic algori
2023-12-28
蚁群算法matlab版
2023-12-28
蚁群算法python版
2023-12-27
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人