- 博客(7)
- 收藏
- 关注
RSS订阅原创 【triton】triton调试工具与方法
Triton提供了一些调试算子用于打印和检查数值，适用于Triton前端用户对程序进行调试，调试算子及功能如下所示：：编译时打印值：编译时断言条件：运行时从设备上打印值：运行时从设备上断言条件在下面add_kernel示例中添加了static_print和device_print分别用于在编译时打印BLOCK_SIZE数值和在运行时的线程pid。
2025-05-10 15:53:12
710
原创 【LLM】Agent &MCP & Function call的理解
step1：定义一个tool，这是一个list，定义可以看opanai官网的文档，各个模型厂商大差不差这里的description非常重要，描述的越具体越详细最好，这跟LLM去理解这个工具非常重要step2：获取function call的结果，返回的是一个json文件step3：执行function call，本质就是一个写好的工具函数，这个函数名就是function call输出的tool name，函数参数是funciton call输出的tool args。
2025-05-10 15:40:04
1122
原创 【AI编译之路】MLIR出发！！
IR是什么可以看作是一种数据格式，作为从端到端转换中的中间表示。在深度学习模型中一般表示为计算图，能够表示计算图的数据结果就可以称为一种IR，例如ONNX、TorchScript、TVM Relay等等。:::info动态图模式在每次执行计算时都要重新构造计算图，非固定的网络结构给网络结构分析并进行优化带来了困难。TorchScript 就是为了解决这个问题而诞生的工具，包括代码的追踪及解析、中间表示的生成、模型优化、序列化等各种功能。::::::color1代码被组织成三地址指令。
2025-04-28 22:46:13
8480
1
原创 【语言学习】Golang前进之路（序）
Go modules 是 Go 语言的依赖解决方案Go 语言长久以来的依赖管理问题。“淘汰”现有的 GOPATH 的使用模式。统一社区中的其它的依赖管理工具（提供迁移功能）。
2025-04-28 22:29:51
7173
原创 【浅析】Minimind学习笔记
full_sft模型在简洁性和信息准确性方面表现更好；rlhf模型在回答中倾向于提供更多的背景信息，但信息准确性有待改进。总的来说RLHF后的模型倾向于学习：说更多有礼貌但无用的废话讨好“对话”本身，而对信息准确性则有轻微损失。天下没有免费的午餐，还需要继续提升RLHF数据集的质量，也要接受模型能力无法避免的损失(程度有轻重)。DPO和在线PPO的区别在于reject和chosen都是离线准备的，和minimind模型本身的输出必然存在很大的分布差异。通俗地说。
2025-04-02 16:27:29
6512
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人