- 博客(24)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 vLLM-0.11.0运行qwen3-vl-4b
本文介绍了在NVIDIA RTX 4060Ti 16G显卡上部署通义千问3-VL-4B-Instruct多模态大模型的过程。重点包括：1）环境配置，需注意vLLM 0.11.0、torch和flash-attn版本的兼容性；2）模型部署时需控制上下文长度(max_model_len=4096)和显存占用；3）提供了基于vLLM API和transformers两种调用方式，支持图像和文本的多模态输入。测试表明，该模型在消费级显卡上可实现秒级响应效果。
2025-10-18 15:03:08
1599
原创 分享一个自己写的,适合新人学习RAG知识库的Demo
这是一个RAG知识库学习demo项目，前端由AI工具生成，具备基本交互功能。项目特点包括：1)本地LLM模型加载演示；2)历史记录实现方式；3)文档向量化处理流程；4)向量存储和索引方法。该项目不使用Langchain等框架，完整展示知识库搭建过程，适合初学者透明学习核心实现原理。项目地址：github.com/15608447849/ragdemo
2025-10-16 01:54:18
190
原创 京东 joyagent-jdgenie 智能体使用ollama本地大模型配置
修改后续所有的 model_name: qwen3-8b # qwen3-8b 是settings里面配置的 做了一个模型名映射, 直接填写 qwen3:8b 无法识别。# 添加额外参数确保兼容性 --实际使用中不添加在java的llm调用处有解析异常。model: 'qwen3:8b' # 我用的是这个模型 通过。apikey: 'ollama-api-key' #可以为空。以上配置已测试通过 本机使用4090显卡 执行速度很快。
2025-08-13 15:03:46
1398
3
原创 通过VLLM部署Qwen3-14B-AWQ
-model /opt/models/Qwen3-14B-AWQ \ # HuggingFace模型名或本地模型路径。--quantization awq \ # 量化方式（若加载 AWQ 模型）--trust-remote-code \ # 信任远程代码（Qwen 需要）python client_chat.py --ask "你是谁?--host 0.0.0.0 \ # 监听所有 IP。--port 8888 # 端口号。"prompt": "介绍你自己",
2025-08-12 14:06:56
758
原创 MultiTalk部署-音频驱动的多人对话视频生成
│ ├── multitalk_example_1.json # 多人对话配置示例1。│ ├── multitalk_example_2.json # 多人对话配置示例2。│ ├── multitalk_example_3.json # 多人对话配置示例3。│ ├── multitalk_example_tts_1.json # 多人TTS示例。│ └── single_example_tts_1.json # 单人TTS示例。
2025-08-08 12:49:40
1443
原创 fish-speech 在50系列显卡使用 --compile加速兼容
triton 官方仅支持liunx , windows 版本由开源社区维护 triton-windows , 类似(triton-3.0.0-cp311-cp311-win_amd64.whl) 都是liunx版本在windows跳过编译错误打包成的, 实际无效, 且不要在pip环境同时存在这俩;这很可能是 PyTorch 的编译优化功能与你的系统环境（特别是 CUDA/Triton 库）不兼容导致的。1 编译错误:( cuda架构与pytorch版本不兼容 , cuda编译环境不兼容 )
2025-07-25 14:26:28
1110
5
原创 基于LangChat搭建RAG与Function Call结合的聊天机器人方案
1 可以利用小参数模型 通过 问题原文本+定义的funcation参数 发送一次LLM ,通过相应内是否包含 tool_call信息判断;stup1: 用户问题 ==> Embedding ==> milvus索引 ==> 相似度排序取前10条。向量嵌入模型: beg-base-zh-v1 cross_encoder。ps: milvus存储 文档向量时, 切片的原文也要一并存储关联!存储所有知识库文档的 BEG-Base-ZH-V1 向量。不需要动态数据: 向量检索 → 重排 → LLM生成回答。
2025-06-26 00:01:11
531
原创 docker 单机部署 apach/kafka 4.0.0
KAFKA_LISTENERS 不写Ip监听0.0.0.0 9092用于 外部kafka客户端/消费端 和kafka服务端通讯 9093用于 kafka内部使用选举及监控等。KAFKA_ADVERTISED_LISTENERS kafka对外暴露的IP和端口 docker内写宿主机IP。KAFKA_AUTO_CREATE_TOPICS_ENABLE 不自动创建topic主题。(一定要加上 红色部分 , 因为没加 收不到消息 调试了3小时!KAFKA_NODE_ID 节点ID。# 生产者 发送消息。
2025-06-17 02:09:18
1262
1
原创 简单聊一聊分布式架构中的sprng体系和zeroc ice的联想类比
zeroc ice 是一款稳定性极高，高性能高吞吐的分布式架构解决方案，框架本身隔离了分布式应用组件的复杂性，并支持多语言混合开发不同微服务，相互调用透明无感，就像本地调用方法一样。- 在 IceGrid 中，服务以IceBox的形式部署，每个 IceBox 是一个独立的进程，包含一个或多个服务对象（Servant）。- 容错保护：服实现断路器机制，当服务失败率达到阈值时，可以自动熔断，返回预设的降级响应，防止系统雪崩。- 服务消费者通过注册中心动态发现可用的服务提供者，实现服务间的解耦和动态调用。
2025-06-15 13:04:39
402
原创 Stable Diffusion WebUI 本地部署指南（Windows 11 + RTX 4060 Ti）
处理: 虚拟环境下找到 \Lib\site-packages\huggingface_hub\constants.py。进入虚拟环境后 pip install cu121-cp310-cp310-win_amd64.whl。│ └── v1-5-pruned-emaonly.safetensors # 模型文件。Hugging Face 访问不了可以去魔搭社区。重启UI 就可以选中目标模型。问题 分词器下载失败。
2025-06-10 14:46:48
1558
原创 DeepSeek-R1 本地部署模型流程
离线后重新进入对话：关闭 powershell 后，若想重新进入 DeepSeek 对话，通过CMD终端，输入 “ollama run deepseek-r1:14b”。7b 版本：DeepSeek 的第一代推理模型，性能与 openal-01 相当，需要 4.7GB 空余空间，命令为ollama run deepseek-r1:7b。1.5b 版本：适用于一般文字编辑使用，需要 1.1GB 空余空间，命令为ollama run deepseek-r1:1.5b。
2025-01-29 15:23:48
2040
原创 KAFKA权威指南
参考<< KAFKA权威指南>>阅读笔记,希望对你学习有用https://www.processon.com/view/link/5f43370b1e0853448035cb05
2020-08-24 11:44:24
296
原创 JCEF 编译使用及最新可下载内核
PC环境: java1.8 32位 or 64位 / python2.7 32位/ cmake 3.15.2 / vs2015 / git可能需要用到的工具下载链接:cmake :https://cmake.org/download/vs2015:https://my.visualstudio.com/Downloads?q=visual%20studio%202...
2019-08-27 13:46:52
1877
原创 用户-角色-资源 后台逻辑简单关联实现
前提: 客户端界面上显示的所有元素 ,创建时绑定 自定义的ID -- 资源ID表设计:角色表:int 角色码 role_id资源表:int 资源码id res_id , int 角色码复合码 role_id用户表:int 用户码id user_id ,int 角色码复合码 role_id核心: role_id 的位运算例...
2019-05-30 18:21:32
3094
原创 关于使用高德地图进行车辆行驶或者人运动轨迹记录成功方案
轨迹记录是现在交通运输发展的今天必不可少的一项技术,从卫星上天得那一刻,运输管控等TMS类似就注定诞生!百度知道告诉我们GPS定位不准原因: https://jingyan.baidu.com/article/48a42057084f9fa9242504de.html 以下是一个GPS误差引入简表：l 卫星时钟误差：0-1.5米l 卫星轨道误差：1-...
2018-09-13 10:04:05
22805
3
原创 c++ windos.h 守护进程
<欢迎使用 >c++实现的用于windwos平台的守护进程.可以监听一组程序,保证不被关闭或者异常杀死.请查看使用说明.下载连接: https://pan.baidu.com/s/1miP2OOSgithub: https://github.com/15608447849/cppCode 实现原理: 1. 通过过 互斥锁(Mutex) 保证程序只...
2018-09-07 13:52:34
529
原创 爬虫和网易云音乐API的一次尝试
最近有空,在好友的呼唤下,帮助他做一个爬取网易云音乐排行榜信息的小程序,收获颇多. 进入网易云官网.F12 打开后发现网易云的API,参数被加密:对前端不太熟,也无从下手,只知道这个信息很重要,多亏了 百度一下 ,找到了很多陈旧的博客,有了些许蛛丝马迹.多数用python去写,经过一些尝试,确定了不少可用的api接口,但是数据大多数不是不
2017-11-18 15:42:22
2413
asmack简单例子以及qq表情简单原理
2015-08-29
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人