- 博客(12)
- 收藏
- 关注
RSS订阅原创 vllm和llama.cpp哪个性能好
而llama.cpp 需转换为GGUF格式，但支持更广泛的硬件平台，实测在Pixel5手机端仍能保持1token/s的推理速度。基准测试显示，在处理共享前缀请求时，vLLM在A100上的吞吐量可达158,596token/s，缓存命中率75%。而llama.cpp 在同等模型参数下，通过4级量化可使推理速度提升2.3倍，内存占用减少65%。在端侧设备实测中，Ollama（基于llama.cpp ）的推理延迟比原生llama.cpp 降低50%。
2025-02-25 14:03:01
398
原创 yolo12有哪些优势
YOLOv12 通过注意力机制和混合架构的突破，在保持实时性的同时显著提升了检测精度，尤其在小目标、密集场景和复杂光照条件下的表现突出。其设计思路为后续实时检测模型的发展提供了重要参考方向。如需技术细节，可参考原论文或开源代码实现。
2025-02-24 21:59:55
462
原创 ollama和llama.cpp区别
两者本质是互补关系：llama.cpp 提供底层推理能力，Ollama 在其基础上构建易用性。若追求极致控制选前者，注重效率与便捷性选后者。更多技术细节可参考来源。
2025-02-21 09:59:52
457
原创 vLLM原生支持昇腾，加速大模型推理创新，社区尝鲜版本首发！
2025年2月，经过vLLM社区与昇腾的持续合作和共同努力，vLLM开源社区已官方支持昇腾，并创建vLLM Ascend这一社区维护的官方项目。这意味着用户可直接在昇腾上无缝运行vLLM，开发者可通过vLLM调用昇腾进行模型适配。vLLM社区创建了vllm-project/vllm-ascend项目提供昇腾的官方支持vLLM Ascend使能vLLM在昇腾平台进行大模型推理，包含以下多个特征：vLLM Ascend原生支等在内的主流开源大模型类型，如系列、系列、系列等。
2025-02-20 20:57:17
503
原创 2025年学习Python Web或Python爬虫，能否获得高薪岗位？
爬虫工程师需熟悉网络协议（HTTP/HTTPS）、前端技术（HTML/CSS/JavaScript）及反爬对抗（验证码识别、IP代理池）；：如成都、郑州等地的高级爬虫工程师（10k-15k/月），需掌握分布式爬虫、反爬策略（如JavaScript逆向、TLS协议分析）、数据库优化等核心技术，薪资显著提升。：如青岛某公司的爬虫开发岗（6k-8k/月），要求基础Python技能与数据解析能力，薪资偏低且竞争激烈。：从“数据采集”转向“数据治理”，学习数据清洗、存储及分析（如Pandas/Spark）。
2025-02-19 21:38:15
1437
原创 海康威视发布基于观澜大模型的文搜存储产品：安防监控效率的智能化跃迁
这一创新产品通过深度融合大参数量、大样本量的图文多模态大模型与嵌入式智能硬件，实现了自然语言与视频图像的跨模态信息检索，标志着安防监控行业迈入智能化新纪元。该模型通过图文多模态数据的持续预训练，具备强大的视觉感知与认知能力，能够精准理解用户输入的开放语义描述（如“穿红色衣服”“骑电瓶车未戴头盔”），并快速匹配视频图像中的目标特征。同时，该产品也预示了安防行业的未来趋势——AI大模型与边缘计算的深度结合将催生更多普惠型智能解决方案，推动行业从“看得见”向“看得懂”升级。
2025-02-18 17:09:55
785
1
原创 常用的样本标注工具有哪些？
链接：LabelImg GitHub https://github.com/HumanSignal/labelImg。链接：MarkTool GitHub https://github.com/chosendai/MarkTool。链接：doccano GitHub https://github.com/doccano/doccano。链接：Brat GitHub https://github.com/nlplab/brat。链接：CVAT官网 https://www.cvat.ai/
2025-02-18 13:09:44
1233
原创 2025年，百度一下，还有人用吗？
综上所述，尽管百度仍有用户使用，但其搜索质量下降、广告干扰增加以及市场份额被超越等问题，使得用户逐渐转向其他搜索引擎。2023年开始，微软必应在中国区桌面端市场份额超越了百度，成为第一大桌面搜索引擎。根据多方信息显示，百度仍然有一定用户基础，但用户活跃度和满意度明显下降。百度搜索结果中充斥着大量虚假信息和广告信息，影响了用户对搜索结果的信任。仍有部分用户在使用百度搜索，但广告多和内容质量下降让他们感到不满。有些用户认为，百度的主要用户群体可能是文化程度偏低的人。广告信息越来越多，影响了搜索体验。
2025-02-12 14:57:15
523
原创 AI智慧安防对社会发展的影响
在智慧社区中，智能安防系统的应用越来越重要，它通过物联网的保障与创新，为居民提供了更加安全和便利的生活环境。同时，智能安防系统也可以对家庭成员进行追踪，尤其是对于有特殊需求的人群，比如年老或残疾的亲属，通过这种追踪功能，可以更方便地进行照顾和救助。例如，对于政府机构来说，智能安防系统可以提供更精确的监控和追踪功能，帮助政府更好地维护社会安全和稳定。对于公共场所，如商场、电影院、体育场馆等，智能安防系统可以实时监控和预防火灾、洪水等灾害，及时发现和应对紧急事件，最大程度地减少人员伤亡和财产损失。
2025-02-11 21:23:21
432
原创 大模型微调有没有技术含量？
针对大模型计算成本高的问题，需掌握参数高效微调方法（如LoRA、Adapter、Prefix-tuning），这些技术涉及低秩分解、适配器模块设计等复杂操作。：大模型微调常需多卡并行，涉及数据并行、模型并行、混合并行等技术，需要掌握分布式训练框架（如DeepSpeed、Megatron-LM）。：在微调过程中，如何保留预训练模型的通用知识，同时学习新任务，需要设计正则化策略（如弹性权重固化EWC）或渐进式学习。：对小规模数据集，需通过数据增强（如文本改写、合成数据）提升泛化性，这需要领域知识和算法设计。
2025-02-10 12:55:35
523
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人