- 博客(10)
- 收藏
- 关注
RSS订阅原创 AWQ：Activation-aware Weight Quantization 用于LLM量化与加速-（1）背景与原理
AWQ原理介绍，大模型量化，怎样在更小的模型下，保留最好的效果
2024-04-28 00:05:31
2722
1
原创 微软大模型phi-3速览-3.7B比llama-3 8B更好？
phi-3 3.8B模型媲美chatgpt、手机可以部署、但是仍然有弱点需要提升改进。
2024-04-25 10:52:44
1805
1
原创 快读论文-利用大模型做富文本推荐
本文设计了一个新颖的框架，用于利用大型语言模型进行文本丰富的序列推荐（LLM-TRSR）。该方法主要包括以下步骤：首先，将用户的历史行为序列提取并转换为一段长文本，然后将该长文本分割成几个区块，确保每个区块都能被大型语言模型完全处理。接着，提出基于 LLM 的摘要器来全面考虑这些区块，以得出用户偏好的摘要。同理看图：既然可以使用cnn、rnn接口来提取用户历史，后续能否用模拟attention的方法来提取用户历史特征？
2024-04-22 15:19:11
1424
原创 OpenCompass司南大模型评测体系-书生·浦语大模型第二期实战营第七课笔记&作业
大模型评测，OpenCompass，司南，大模型榜单，评测
2024-04-20 22:12:24
1122
1
原创 Meta Llama3简单速览
北京时间4月19号凌晨，Meta 发布了Llama3。下面，让我们根据官方报告，深入了解这一AI领域的重要更新。
2024-04-19 10:15:56
1326
1
原创 智能体agent学习--书生·浦语大模型第二期实战营第六课笔记&作业
AgentLego 是一个提供了多种开源工具 API 的多模态工具包，旨在像是乐高积木一样，让用户可以快速简便地拓展自定义工具，从而组装出自己的智能体。通过 AgentLego 算法库，不仅可以直接使用多种工具，也可以利用这些工具，在相关智能体框架（如 Lagent，Transformers Agent 等）的帮助下，快速构建可以增强大语言模型能力的智能体。：根据输入的任务，智能体自动选择一个合适的工具来执行该任务。：根据memory的输入，和上一步执行的结果，进行下一步任务的创建。
2024-04-18 10:13:57
903
1
原创 大模型部署与推理-基于LMDeploy-书生·浦语大模型第二期实战营第五课笔记&作业
前向推理需要的计算量公式Cforward2∗N2∗nlayer∗nctx∗dattn– N是参数量，nlayernctxdattn分别代表层数，上下文长度，注意力维度kv cache显存占用公式Mkvcache4∗b∗nlayer∗dattn∗sn–bnlayerdattn。
2024-04-10 10:00:02
863
1
原创 RAG范式与快速搭建套件茴香豆--书生·浦语大模型第二期实战营第三课笔记&作业
包括朴素RAG（Naive RAG）、进阶RAG（Advanced RAG）和模块化RAG（Modular RAG）。朴素RAG：这是RAG最早的方法论，主要包含索引（indexing）、检索（retrieval）和生成（generation）三个步骤。它通过将文档分割成小块，编码为向量，并存储在向量数据库中，以便在接收到用户查询时进行高效的相似性搜索。进阶RAG：为了克服朴素RAG的局限性，进阶RAG引入了特定的改进措施，包括预检索和后检索策略。
2024-04-07 09:29:59
1023
原创 大模型Demo初印象--书生·浦语大模型第二期实战营第二课笔记&作业
由书生·浦语角色扮演小组长【那路】为大家带来【轻松玩转书生·浦语大模型趣味 Demo】课程~玩转书生·浦语【智能对话】、【智能体解应用题】、【多模态理解及图文创作】等趣味 Demo。
2024-04-01 19:39:46
259
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人