- 博客(12)
- 收藏
- 关注
RSS订阅原创 【大模型开源项目】FastAPI结合vLLM，开发适配openai-api的接口，轻量级易扩展
（这里只能说是vLLM牛，对显存的拿捏十分精准）比如在上面的配置下，Qwen/Qwen2.5-7B-Instruct模型有两个实例，并且两个实例的权重优先级（devices中的weight参数）分别为1和2，那么最终请求会按照1：2的比例分配到两个实例上。如下所示，首先需要确保的是每一个模型实例的engine_args参数的model参数，这是模型权重的位置，不要填错，你可以从huggingface上下载，然后填权重文件位置。这里测试也是测了vLLM性能，和我的框架关系不大，只能说我没有拖后腿吧QVQ。
2025-04-10 22:51:12
761
原创 【大模型】Qwen2.5-Omni 技术报告解读
下图为Omni的应用场景概述图，主要思想就是让多模态数据（文字、图片、视频、音频）输入模型，然后通过文字大模型（Thinker）进行理解，然后配合语音大模型（Talker）进行语音输出。
2025-03-29 18:14:13
721
原创 【深度学习】Transformer
Transformer作为编码器－解码器架构的一个实例。正如所见到的，Transformer是由编码器和解码器组成的。与基于Bahdanau注意力实现的序列到序列的模型相比，Transformer的编码器和解码器是基于自注意力的模块叠加而成的，源（输入）序列和目标（输出）序列的嵌入（embedding）表示将加上位置编码（positional encoding），再分别输入到编码器和解码器中。链接无法跳转，想看请移步。
2024-11-24 22:19:10
576
原创 [AI]sklearn1.5版本以上使用多分类器时，拿不到coef和intercept的解决办法
由于sklearn在1.5版本后弃用LogisticRegression(multi_class=“ovr”)的写法，换用如下写法，本人在使用时拿不到线性基分类器（本示例中为LogisticRegression）的coef_以及intercept_
2024-09-15 11:04:49
182
1
原创 vue3开源组件vue-activity-calendar，类似GitHub贡献图的高自由度组件
【代码】vue3开源组件vue-activity-calendar，类似GitHub贡献图的高自由度组件。
2022-09-22 23:22:44
1379
原创 JavaFX应用在打包时fx:deploy is not available in……解决方法
发生这种情况是因为你安装了许多JDK并由一个JDK编译并由另一个JDK运行，或者你在Intellij中创建工件时使用生成 jar功能时该工件已损坏。在继续执行以下步骤之前，请确保你使用相同的 JDK 版本进行编译和运行。1、创建启动类2、继续创建jar......
2022-06-10 16:51:06
3650
1
原创 Vue中使用file类型input标签，无法使用reset方法清空已经选择的文件【简单粗暴的解决方案】
无法使用reset方法清空已经选择的文件
2022-05-07 21:34:58
1670
原创 【微信开发】微信小程序云函数中的数据处理后返回
微信小程序云函数中的数据处理后返回本文主要演示的是，在微信云函数中调用数据库后，如何对获取的内容在云函数内处理后返回。主函数exports.main = async (event, context) => { //获取表 let table = cloud.database().collection('table'); //查询表 //由于考虑到异步调用,需要用await返回结果给res //否则可能res没有获得值就传给了处理函数 let res = await table.
2022-03-21 10:07:25
3806
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人