- 博客(17)
- 收藏
- 关注
RSS订阅原创 paper reading 03 Evaluating Expert Contributions in a MoE LLM for Quiz-Based Tasks
对于最后一层MoE，只有3个专家在超过95%的情况下被激活，这为门控网络在选择不同专家时提供了更大的灵活性。就准确率而言，我们观察到与第一层MoE相似的模式：一些专家的准确率显著高于平均水平（例如，专家12），而另一些专家的表现则明显较差（例如，专家34和30）。根据表格中报告的熵值，我们得出结论：每个专家的分布远非稀疏，而是更趋向于均匀。这些发现表明，未来研究的一个潜在方向可能是通过增加高准确率专家的概率和/或减少表现不佳专家的概率来调整门控输出概率。第一层具有最低的熵，而最后一层则拥有最高的熵之一。
2025-03-15 19:20:37
359
原创 每日一库系列01 go的logrus库介绍
有时候需要在输出中添加一些字段，可以通过调用和实现。接受一个类型的参数，其底层实际上为"age": 18,})实际上，WithFields返回一个类型的值，它将和设置的保存下来。调用Entry相关方法输出日志时，保存下来的也会随之输出。Hook: 接口，需实现Levels()和Fire()方法。Levels()方法返回感兴趣的日志级别，输出其他日志时不会触发钩子。Fire是日志输出前调用的钩子方法。LevelHooks: 这是一个类型别名，表示一个映射，键是日志级别，值是一个包含多个钩子的切片。
2025-03-06 19:55:29
682
原创 论文精读02 Symbol-LLM: Towards Foundational Symbol-centric Interface For Large Language Models
我看了下这个论文和代码仓库。感觉它是给大模型提供通用的训练成符号大模型的接口，具体是通过LoRA 微调的方式实现。可以在hugging face 下载需要的模型和LoRA进行微调。然后这个论文基于LLaMA-2-chat 做了全量微调。然后我看了一下LoRA的原理和实现。相关链接。
2025-02-25 15:43:28
143
原创 精读 paper系列01《A Watermark for Large Language Models》
论文主要讲解了如何在不影响输出效果的前提下，为大模型增加额外的水印，以确保其大模型不被随意滥用。核心代码之WayermarkBase参数解析：self:Python类方法的第一个参数总是self，它代表类的实例本身。通过self，可以在类的方法中访问实例的属性和其他方法。◦ vocab 是一个整数列表，默认值为 None。这个列表通常表示模型词汇表中的所有单词或token的ID。在文本生成或自然语言处理任务中，词汇表是必要的，因为它定义了模型可以使用的全部单词。
2025-02-16 11:16:05
916
原创 大模型推理训练营day05
std::shared_ptr 是一种通过指针保持对象共享所有权的智能指针。：主要用例是在两个或多个实例相互指向的情况下中断循环引用，从而导致引用计数循环，从而阻止正确清理对象。2.最后剩下的持有对象的 shared_ptr 被通过 operator= 或 reset() 赋值为另一指针。）：A 不会增加对象的引用计数。它允许对对象进行安全访问，但不会阻止在最后一个对象重置或超出范围时销毁对象。：要访问由 管理的对象，您可以使用该方法将 转换为 a。拥有该对象，但引用计数不会与以前的值 3 相比发生变化。
2025-01-31 16:16:53
179
原创 大模型推理训练营day03
constexpr：该函数是常量表达式函数，可以在编译时求值。int：该函数返回一个整数类型的值。get(int i)：该函数接受一个整数类型的参数i，用于索引斐波那契数列中的元素。const：该函数不会修改类的成员变量，只是读取数据。因此，get函数能够根据索引i返回numbers[i]，并且能在编译时被计算，从而优化性能。
2025-01-31 16:08:46
307
原创 大模型推理训练营day02
return语句会先根据static_的原始值决定返回什么值给调用者，然后才对static_进行自增。这意味着如果static_的原始值是5，那么func(5)将会返回5，但是在下一次访问static_时它的值将是6。的递归调用深度超过了编译器在常量表达式计算时的允许范围，导致编译器无法在编译期计算出结果。也不会被销毁，而是会在下一次调用时继续保持其上次的值。这一点对于理解该函数的行为至关重要，因为它的值会在多个。的值将持续保持上次修改的状态，而不会重新初始化。被外部调用，通常在封装内部实现时使用。
2025-01-11 18:33:41
299
原创 go中defer大杂烩
defer是go中一种延迟调用机制，defer后面的函数只有在当前函数执行完毕后才能执行。多个defer出现的时候，它会把defer之后的函数压入一个栈中延迟执行，也就是先进后出。defer后面的函数值在入栈的时候就决定了。defer 最大的功能是 panic 后依然有效,我们可以在defer中进行recover，如果defer中包含recover，则程序将不会再进行panic，实现try catch机制。juejin.cn通过八个demo搞明白Go语言defer的五大特性 | Go 技术论坛。
2024-07-19 23:57:41
920
原创 数据库 关系依赖笔记
第三范式：消除传递依赖，like $ A (主键)\rightarrow B（一般属性） , B \rightarrow Y（一般属性） 则A\rightarrow Y$第二范式：若主键为联合主键，不可以出现单独一个键决定其他属性的情况。
2024-05-22 19:22:07
166
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人