- 博客(3)
- 收藏
- 关注
RSS订阅转载 已经在为VKProxy写UI配置站点和文档了
是使用c#开发的基于实现 L4/L7的代理目前已经在写文档了， 文档在（未完成全部）UI配置站点也在开发ing了，会基于 etcd 作为配置源，主要考虑配置文件分发会导致大家在部署多实例场景有难度docker 会在 UI配置站点 完成后再完善到文档这里列举一下基本的配置。
2025-06-21 10:27:53
53
转载 为了改一行代码，我花了10多天时间，让性能提升了40多倍---Pascal架构GPU在vllm下的模型推理优化...
ChatGPT生成的文章摘要这篇博客记录了作者在家中使用Pascal显卡运行大型模型时遇到的挑战和解决方案。随着本地大型模型性能的提升，作者选择使用vllm库进行推理。然而，作者遇到了多个技术难题，需要自行编译vllm和PyTorch，以支持Pascal架构的显卡。编译过程中，作者深入研究了显卡不支持的问题，特别是在量化矩阵乘法计算中发现性能瓶颈。最终，解决了性能问题，让性能提升了43倍。这次...
2024-12-16 02:54:54
438
转载 Spring Boot + liteflow 居然这么好用！实战
在我们的日常开发中，经常会遇到一些需要串行或并行处理的复杂业务流程。那我们该如何利用Spring Boot结合liteflow规则引擎来简化我们的业务流程先看一个实战案例！！在电商场景下，当订单完成后，我们需要同时进行积分发放和消息发送。这时候，我们可以利用liteflow进行规则编排，处理这些并行任务。1. 引入依赖首先...
2024-07-07 02:59:31
347
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人