- 博客(10)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 超详细DeepSeek-R1本地部署教程！
近期DeepSeek-R1模型持续爆火，丝毫不减当年ChatGPT刚发布的热度！但大家在使用的时候总会碰到：“服务器繁忙，请稍后再试。”的问题，为了不排队使用大家可以尝试下本地部署。DeepSeek-R1开源了多个版本，主要分为满血版本（671B）和蒸馏版本（1.5B到70B）：● 满血版：671B参数量，需要至少350GB显存才能跑起来，适合不差钱的企业在高端显卡部署；● 蒸馏版：基于开源模型Qwen和Llama微调，参数量从1.5B到70B，适合本地部署；
2025-02-08 13:39:46
737
原创 DeepSeek-R1训练细节解读
DeepSeek-R1使用简洁、低成本的训练方案探索出了模型训练在长链路复杂推理问题中的可行路径，并且毫无遮掩的在DeepSeek论文中开放出了技术实现细节和一些宝贵的失败经验。我们先来看最终的模型评测结论：从测评结果来看整体的结果几乎都与OpenAI-o1-1217持平，部分能力如AIME和MATH都超过OpenAI-o1-1217；在得到此成绩之前DeepSeek也做了许多尝试和创新，例如：尝试使用纯强化学习（RL）提高语言模型的推理能力、自创GRPO强化学习算法降低训练复杂度并提高推理效率等。
2025-02-07 16:54:47
1026
原创 Spring Cloud讲解之Spring Cloud Gateway
Spring Cloud Gateway旨在提供一种简单而有效的方式来路由到api，并为它们提供横切关注点，如:安全性、监控/指标和弹性。集成Sping Cloud Gateway需要Spring 5.0、Spring Boot2.0及以上版本。
2024-12-10 22:17:37
637
原创 GraphRAG详解
DRIFT Search是GraphRAG最新的改进版本，也是GraphRAG正在探索的几项重大优化中的第一个。它既取了Globall Search的优点也补足了Local Search的缺点，但在实际工程里大家还是要结合业务场景选择最适合的方案。无论哪种搜索模式开发者都需要考虑搜索效率和LLM Tokens的资源消耗，都需要衡量召回精度、计算成本和时间成本的优先级，特别是在当前大模型应用开发领域，一定没有最优的解决方案只有最适合场景的解决方案。
2024-12-10 21:49:01
1456
原创 Milvus向量数据库入门指南
Milvus是一个开源的向量数据库，专为AI应用和向量相似度搜索而设计，以加速非结构化数据的检索。自2019年创建以来，Milvus专注于存储、索引和管理由深度神经网络和其他机器学习模型生成的海量嵌入向量。其能够处理万亿级别的向量索引任务。Milvus的核心优势在于其高效的索引机制，它支持多种索引类型，包括FLAT、IVF_FLAT、IVF_SQ8、IVF_PQ和HNSW等。这些索引类型适用于不同的应用场景，如图像识别、自然语言处理、推荐系统等。Milvus还提供了灵活的API接口，方便开发者集成和使用。
2024-11-26 10:15:00
1342
原创 RAG原理、应用与开发实战指南
为了更好的解决大模型幻觉的问题，业界提出了基于知识检索与大模型生成相结合的技术：RAG（Retrieval - Augmented Generation）即检索增强生成。在当前大模型应用开发中，RAG为解决通用大模型知识有限和知识更新不及时等问题提供了有效方案，也得到了广泛的应用。
2024-11-16 18:59:23
1255
1
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人