- 博客(11)
- 收藏
- 关注
RSS订阅原创 进阶岛--LMDeploy 量化部署
LMDeploy 开发了 Persistent Batch(即 Continuous Batch)，Blocked K/V Cache，动态拆分和融合，张量并行，高效的计算 kernel等重要特性。跟着 https://github.com/InternLM/Tutorial/blob/camp3/docs/L2/LMDeploy/readme.md 教程一步一步走即可，写的相当详细。随着模型变得越来越大，我们需要一些大模型压缩技术来降低模型部署的成本，并提升模型的推理性能。非对称量化通常涉及以下步骤。
2024-08-30 22:29:10
1175
原创 进阶岛--MindSearch CPU-only 版部署
参考 https://github.com/InternLM/Tutorial/blob/camp3/docs/L2/MindSearch/readme.md ， 写的很详细。更详细的介绍：https://github.com/InternLM/MindSearch。接上文，由于有LLM汇总环节，而LLM推理是很耗费GPU资源的，所以仅CPU怎么干这个活？答：推理过程放云端，原理类似手机连云主机玩3A大作。一言以蔽之：传统搜索引擎 + LLM智能筛选/汇总。就是云端推理方案之一。
2024-08-30 22:04:26
336
原创 进阶岛--InternVL 微调实践
InternVL 是一种用于多模态任务的深度学习模型，旨在处理和理解多种类型的数据输入，如图像和文本。它结合了视觉和语言模型，能够执行复杂的跨模态任务，比如图文匹配、图像描述生成等。跟着 https://github.com/InternLM/Tutorial/blob/camp3/docs/L2/InternVL/joke_readme.md 教程，写的相当详细，这里只概述下流程。如下图，对于InternVL这个模型来说，它vision模块就是一个微调过的ViT，llm模块是一个InternLM的模型。
2024-08-30 21:05:33
865
原创 进阶岛--茴香豆：企业级知识问答工具实践
更详细的介绍推荐看 https://github.com/InternLM/Tutorial/blob/camp3/docs/L2/Huixiangdou/readme.md。为了能将上述终端起的gradio服务暴露到公网。ok, 这b包不装也罢。cpolar 极点云。
2024-08-29 00:15:13
486
原创 进阶岛--Lagent 自定义你的 Agent 智能体
https://github.com/InternLM/Tutorial/tree/camp3/docs/L2/Lagent 这篇教程写的很详细，流程概述如下。
2024-08-28 19:00:28
327
原创 没注意开源软件的文档和对应版本号，悲剧了
###感想开源软件的文档急需写的更加清晰啊！！密切注意软件版本号！！下载###折腾历程由于要用到车流数据，又拿不到数据集，于是只能求助于诸如Transims,PTV Vissim这类车流仿真软件。前面两者，Transims开源，但是似乎安装文档很潦草。PTV Vissim是商业软件，最近的几个好用的版本都没有破解版。于是寻寻觅觅无意中了解到一款德国制造车流交通仿真软件S
2017-04-10 17:42:36
732
原创 ubuntu下的javadoc乱码问题
由于Ubuntu 16.04的语言选择的是中文因此使用下列shell语句生成java文档时导致了乱码javadoc -classpath ../target:../lib/ECLA.jar:../lib/DTNConsoleConnection.jar -sourcepath ../src/ -subpackages core:ui:gui:input:movement:report:ro
2017-04-08 22:26:48
324
原创 Memo:GPT+UEFI安装Ubuntu 16.04+Win 10双系统
Memo:GPT+UEFI安装Ubuntu 16.04+Win 10双系统用到的工具： refind,boot-repair,深度U盘启动制作
2016-09-21 10:49:54
2085
原创 p1971
2010-12-2018:29:11#include#includeusing namespace std;struct tag_node{ int x,y;};typedef struct tag_node node;int const max
2010-12-20 18:34:00
302
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人