- 博客(13)
- 收藏
- 关注
RSS订阅原创 模型推理并发优化
模型推理并发是指系统同时处理多个模型推理请求的能力。对于在高流量的现实应用程序（例如在线服务、推荐引擎和实时分析平台）中部署机器学习模型来说，这是一个至关重要的属性。同时处理大量请求的能力可确保用户的低延迟，优化计算资源的利用率，并最终降低运营成本 。如果没有高效的并发，人工智能驱动的服务可能会成为瓶颈，导致用户体验不佳或由于需要过多的资源配置而导致基础设施费用不可持续 。实现高推理并发性会带来一些技术挑战。现代机器学习模型（尤其是深度学习模型）的大小和计算复杂性通常会导致各个硬件单元的内存和处理能力紧张
2025-03-27 11:44:44
906
原创 DeepSeek-R1 模型训练
将 DeepSeek-R1 与 OpenAI 的先进模型进行比较，是其引起 AI 社区高度关注的主要原因，这表明开发者旨在达到或超越领先的专有模型的性能，从而将 DeepSeek-R1 定位为极具竞争力的开源替代方案。DeepSeek-R1 的推理能力成功地提炼到较小的模型中 10 是一个重要的成果，这表明训练过程使大型模型能够学习基本的推理模式，这些模式可以有效地转移到更高效、更小的架构中。DeepSeek-R1 的训练过程的关键在于大规模强化学习的创新应用、监督微调的策略性整合以及多阶段方法。
2025-03-21 15:26:22
523
原创 构建本地代码助手
私有部署代码模型加idea的CodeGPT插件，可实现私有化代码助手，既能提高代码编写效率与代码质量，又能保证代码数据不外泄，安全可靠。下载且运行模型，模型可用deepseek-coder:33b或者deepseek-coder-v2:16b。三、测试代码助手（以deepseek-coder-v2:16b为例）直接搜索codegpt或者proxy AI，然后安装即可。在codegpt中配置本地模型的api。1、安装模型推理框架ollama。3、idea下载安装插件。4、配置本地模型api。
2025-03-20 08:43:09
159
原创 ollama本地部署deepseek-r1系列模型
部署模型：ollama run deepseek-r1:1.5b。启动ollama：ollama serve。打开命令提示符，输入ollama。等待模型下载完成并自动运行。如图所示，代表安装成功。
2025-02-11 17:44:06
280
原创 DeepSeek-R1-论文简读
DeepSeek-R1模型的训练流程是一个多阶段的过程，通过结合预训练、冷启动微调、强化学习、蒸馏等方法，逐步提升模型在推理和决策上的能力。每个阶段都有其独特的目标和数据策略，确保模型能够在特定任务中展现出强大的推理能力和广泛的适应能力。通过这种渐进式的训练方法，DeepSeek-R1能够在不同领域和任务中提供高效且安全的解决方案。
2025-02-08 11:12:03
801
原创 Elasticsearch作向量数据库
首先，您需要创建一个索引，并在映射中定义一个类型的字段来存储向量数据。 字段需要指定维度（dims），即向量的长度。"dims": 128 // 根据您的向量维度设置},在上述示例中，是存储向量的字段，dims指定了向量的维度。。
2025-01-20 10:25:26
1058
原创 什么是大模型
大模型是指那些参数量巨大、结构复杂的机器学习模型，它们能够处理复杂的任务，并在多个领域取得了显著的成果。尽管大模型带来了巨大的优势，但它们也面临计算资源、存储需求和伦理问题等挑战。作为大模型的学习者，从基础知识入手，逐步理解常见的大模型架构，并通过实践来加深理解，将是您学习大模型的有效路径。
2024-12-31 11:05:25
622
原创 人工智能发展历史
人工智能的历史是一部充满激情的成长史。从图灵的“模仿游戏”到 AlphaGo 的传奇胜利，再到现代 GPT 模型的爆火，每一步都写满了科学家的智慧和社会的期待。AI 的路还很长，但这正是最激动人心的地方。毕竟，每次打开这本“AI 编年史”，我们都能期待新的篇章！好了，今天的科普就到这儿，如果你觉得有意思，不妨给朋友们分享吧，说不定下一个 AI 科学家就在你身边！
2024-12-19 10:54:36
411
原创 语音模型：降噪、语音增强与识别的集成能力
语音模型的集成化发展正在改变语音处理的格局。通过结合降噪、语音增强和语音识别功能，现代语音模型不仅提高了处理效率，还为各种应用场景提供了可靠的解决方案。从 Whisper 到 WavLM，这些模型的能力正在不断扩展，为智能语音助手、实时会议、翻译设备等带来更大的价值。未来，随着计算资源的进一步优化和更多自监督学习技术的引入，语音模型将在更复杂的场景中实现更高效的表现。如果您对语音技术感兴趣，不妨尝试部署这些模型，体验它们的强大功能！
2024-12-18 15:52:07
2403
原创 word文档导出（poi）
根据手动输入的数据存入数据后，取出以word文档的形式导出。数据有填入、插入表格、复选框（支持单选及多选）。首先要在xml导入配置：<dependency> <groupId>org.apache.poi</groupId> <artifactId>poi</artifactId> <version>3.9</version></dependency><depend
2021-11-29 11:21:47
2584
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人