- 博客(14)
- 收藏
- 关注
RSS订阅原创 模型结构|解读transformer模型中三种attention和mask(一)
解读transformer模型中encoder和decoder的self-attention的区别
2024-12-19 22:46:58
1775
原创 搜推广|elasticsearch 8.x 如何安装Hanlp插件
实现从源码打包出可以适配elasticsearch8.X版本的hanlp插件。
2024-11-12 17:28:43
1086
1原创 介绍llama2|理解group query attention(GQA)
多角度分析llama模型的group query attention
2024-09-29 00:00:25
1787
原创 概念|如何根据大模型api服务定价推测云厂商让利程度？
本文从计算量、存储以及gpu的特性解释了为什么模型推理的每个token的价格要比prompt中每个token的价格更贵
2024-09-11 00:19:32
1002
原创 关于大模型落地的二三事
其中以固定的知识微调行业大模型为基础，在不同场景下，已有积累的问答对直接检索，需要动态更新的非结构化数据打向量数据库+rag的组合拳，针对各种数据库、结构化数据做text2sql、text2code，针对api用自然语言调api，如果还想更智能就用大模型当决策大脑把这些与能与外部交互的工具组成agent，这下智能客服、智慧XX可以先吹一波，最后为行业赋能吸引企业长期付费（少不了后续的持续优化）。当然以上无论是增量预训练、微调、偏好对齐还是rag工程优化都是有多少人工才有多少智能，高质量的数据才是核心资产。
2024-07-24 22:33:08
276
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人