- 博客(25)
- 收藏
- 关注
RSS订阅原创 大模型笔记之-OpenCompass 评测 InternLM-1.8B 实践
在 OpenCompass 中评估一个模型通常包括以下几个阶段：配置 -> 推理 -> 评估 -> 可视化。
2024-08-22 23:21:53
226
原创 书生大模型全链路开源开放体系
书生体系是一个涵盖了数据、预训练、微调、评测、部署和应用等多个环节的全链路开源开放体系。该体系的核心目标是降低大模型技术的门槛，提升其实用性和可扩展性。通过发布多样化的模型版本和提供高质量的语料数据，书生体系满足了不同场景下的需求，并为开发者提供了灵活且高效的解决方案。
2024-08-20 15:19:05
442
原创 大模型笔记之-Xinference自定义注册模型
例如：随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了机器学习的基础内容。提示：以下是本篇文章正文内容，下面案例可供参考"en"],"generate"],"4-bit","8-bit","none"],
2024-08-01 23:33:07
4447
原创 大模型笔记之-Llama-3.1-405B-Instruct-FP8离线部署[8*A800] 基于vLLM 版本v0.5.3.post1
例如：随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了机器学习的基础内容。提示：以下是本篇文章正文内容，下面案例可供参考提示：这里对文章进行总结：例如：以上就是今天要讲的内容，本文仅仅简单介绍了pandas的使用，而pandas提供了大量能使我们快速便捷地处理数据的函数和方法。
2024-07-25 14:17:30
1669
1
原创 大模型笔记之- 基于vllm分支编译部署 DeepSeek-V2-Lite-Chat
vllm分支部署DeepSeek-V2-Lite-Chat
2024-05-28 14:33:07
2172
1
原创 大模型笔记之-3090单卡推理Qwen1.5-32B-Chat-AWQ
随着大模型不断发展，各家推出的模型，指标越来越接近，推理成本也大幅降低（阿里Qwen，文心一言，智普 ChatGLM都在降价），个人玩家只需要找到一个最适合自己的开源模型部署即可，写了这么多篇大模型笔记了，今天写一Qwen32B-AWQ收个尾。先说结论Qwen1.5-32B-Chat-AWQ跑在3090上完全满足我的需求以上就是今天要讲的内容，本文详细记录了如何用一张3090 使用vLLM框架推理起Qwen1.5-32B-Chat-AWQ。本篇为大模型笔记的最后一篇！
2024-05-21 17:25:44
2108
2
原创 【Java攻城狮笔记】MySQL安装，my.ini配置，初始化以及远程访问配置|基于Windows Server2012 R2
Windows 安装mysql
2024-01-09 11:14:52
1500
1
原创 大模型笔记之-3090显卡推理70B参数模型|基于PowerInfer 一个 CPU/GPU LLM 推理引擎
提示：本文章基于揽睿星舟算力推理，算力端3090邀请链接https://www.lanrui-ai.com/register?
2023-12-27 18:37:46
2544
7
原创 大模型笔记之-低成本部署CharGLM3|chatglm.cpp基于ggml 的纯 C++ 实现
本文主要介绍基于chatglm.cpp项目仅使用cpu推理chatGLM3的教程。
2023-11-28 10:13:24
3710
14
原创 大模型笔记之-如何从huggingface克隆源码及模型文件
本文将介绍怎么使用git clone的命令 获取huggingface的文件。
2023-11-09 09:01:26
1328
2
原创 大模型笔记之-ChatGLM2微调（基于Windows10 22H2+RTX2080ti 实现）
本文仅仅简单介绍了如何在Windows环境下微调及使用ChatGLM2-6B
2023-11-03 18:01:28
3721
8
原创 万字长文-Java开发环境搭建之JDK下载，安装，环境变量配置（图文教程）
本教程基于Windows 10 22H2版本java攻城狮的必备技能至此，JDK环境变量配置已经完成，下一篇，IDEA下载安装与配置。
2023-11-02 11:18:34
388
2
原创 ChatGLM3-工具调用-支持天气查询，预设提示词。
上一篇文章快速部署了ChatGLM3-6B，云端和本地复现，本篇文章将介绍工具调用提示：以下是本篇文章正文内容，下面案例可供参考。
2023-10-31 17:13:22
2298
2
原创 langchain-chatglm（v0.2.0）使用更新说明-项目更名为Langchain-Chatchat
基于window10环境本地搭建知识库
2023-08-14 14:49:02
5503
20
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人