- 博客(30)
- 收藏
- 关注
RSS订阅原创 python拉取大视频导入deepseek大模型解决方案
scaler = torch.cuda.amp.GradScaler() 混合精度。通过上述方案，可高效处理大视频与大模型的结合任务，同时确保系统稳定性。- 使用云存储：如AWS S3直接读取视频流，避免本地存储。- 模型轻量化：使用ONNX或TensorRT加速推理。使用流式下载将视频保存到本地，避免一次性加载到内存。使用OpenCV或PyAV逐帧读取视频，生成迭代器。2. 生成器逐帧读取：防止视频数据一次性加载。将视频帧分批次输入模型，优化GPU利用率。1. 流式下载与存储：避免大文件内存占用。
2025-03-16 13:18:01
868
原创 TiDB删除大量数据需要注意什么
问题：直接执行 `DELETE FROM table` 会导致超大事务，可能触发 TiDB 事务限制（默认单事务限制为 `txn-total-size-limit=100MB`），导致失败或性能问题。- 开启 TiDB 异步提交（`tidb_enable_async_commit`）或 1PC（`tidb_enable_1pc`）提升事务提交效率。1. 评估数据量：确认待删除数据范围（如 `WHERE create_time < '2023-01-01'`）。
2025-03-15 10:44:47
485
原创 训练大模型LLM选择哪种开发语言最好
生态系统丰富：主流深度学习框架（PyTorch、TensorFlow、JAX）均以 Python 为主要接口，提供完整的工具链（数据处理、模型训练、评估部署）。- 分布式训练支持：库如`DeepSpeed`、`Megatron-LM`、`Hugging Face Accelerate`简化了多GPU/TPU训练。- 与Python结合：通过`PyTorch`的`torch.cuda`或`Numba`库无缝调用。- 数据处理便捷：库如`NumPy`、`Pandas`、`Dask`高效处理大规模文本数据。
2025-03-11 23:16:17
784
原创 【AI大模型】LLM训练deepseek如何识别视频
数据集：Kinetics-400/700（动作识别）、MSR-VTT（视频描述）、ActivityNet。- 视觉编码器：使用预训练模型（如ResNet、ViT、CLIP-ViT）提取每帧的视觉特征。- 使用大规模视频-文本数据集（如WebVid-10M、HowTo100M）进行对比学习。1. 多模态数据：视频包含视觉（图像帧）、时序（动作）、音频等多维度信息，需统一处理。- 对比学习：通过CLIP-style对比损失，拉近匹配视频-文本对的距离。
2025-03-11 12:31:38
934
原创 LLM训练deepseek如何识别语音
要让类似 DeepSeek 的大型语言模型（LLM）具备语音识别能力，需要通过多模态扩展或与专用语音处理模块结合。步骤2：连接DeepSeek进行语义理解。步骤1：扩展模型架构。
2025-03-10 22:31:16
973
原创 lua如何写出高性能的kong网关插件
实际开发中建议使用Kong-Plugin-Template脚手架快速初始化优化项目结构。local json_preparse = cjson.decode(cjson.encode({})) -- 预热解析器。local opts = { jo = true } -- JIT优化模式。cache_key = { "name" }, -- 确保缓存命中率。-- 避免在header_filter阶段做复杂计算。-- 耗时操作使用定时器异步处理。- 日志记录使用log阶段。-- ...处理逻辑...
2025-03-09 11:27:43
510
原创 MySQL配置优化大幅提升性能和稳定性
缓存命中率：`Innodb_buffer_pool_read_requests` / (`Innodb_buffer_pool_read_requests` + `Innodb_buffer_pool_reads`)。- `slow_query_log = 1`：开启慢查询日志，记录执行时间超过 `long_query_time`（如 2 秒）的查询。- 临时表与磁盘临时表：`Created_tmp_tables` 和 `Created_tmp_disk_tables`。建议 `2048` 或更高。
2025-03-09 10:48:56
712
原创 Manus即将颠覆哪些行业?
颠覆点：Manus可分析患者病历与基因数据，生成个性化治疗方案，辅助医生决策效率提升60%。在药物研发中，其全流程管理临床试验数据，将周期缩短40%。- 岗位替代与升级：70%基础岗位（如文职、客服）面临替代，但“AI指令工程师”“数字流程架构师”等新职业需求激增320%。- 行业影响：传统分析师的基础工作（如数据清洗、模型搭建）被替代率超过73%，催生“AI量化分析师”等新岗位。- 全球竞争格局：Manus在“一带一路”国家市占率达68%，推动中国从技术“跟随者”转向“规则制定者”。
2025-03-07 22:27:36
423
原创 LLM训练如何从图片提取信息存入向量数据库
使用LLM（大语言模型）结合多模态技术从图片提取信息并存入向量数据库的完整技术方案，包含关键步骤、工具链和典型应用场景
2025-03-07 14:58:06
1332
原创 【AI训练】如何提高LLM的训练速度
模型并行（Model Parallelism）：拆分模型到多个设备（如Megatron-LM的Tensor并行、Pipeline并行）。- 数据并行（Data Parallelism）：在多GPU或多节点上拆分数据批次，同步梯度（如PyTorch DDP、Horovod）。- 使用即时编译（JIT）技术（如PyTorch的TorchScript、JAX的JIT）。- 使用稀疏注意力（Sparse Attention）或滑动窗口（如Longformer）。
2025-03-06 19:46:34
758
原创 2025年最好的RAG工具包
企业用户：优先考虑Google Vertex AI RAG或Meta RAG Suite，注重算力、合规性和多语言支持；开发者/初创公司：OpenAI RAG Engine或LangChain，依赖成熟API和社区资源；2. 自适应增强架构：动态选择检索策略（向量搜索、关键词匹配、图网络检索），结合混合模型优化生成质量。1. 多模态统一处理：支持文本、图像、音频、视频的联合检索与生成，跨模态语义对齐能力成为关键。适用场景：开发者友好型API服务、中小型应用快速集成。
2025-03-06 14:41:22
651
原创 nginx+lua实现网关api加密解密示例
在实际项目中需要将api加密解密，如果想不侵入业务代码，可以将加密解密功能集成到基于Nginx的网关中。
2025-03-05 14:02:08
610
原创 【AI编程】cursor AI自动编程，独立开发者躺着赚钱时代来临
AI编程工具Cursor已集成Claude 3.7 Sonnet推理模型，在编程领域，Claude3.7Sonnet的表现尤为突出。在一项编程测试中，Sonnet以70.3%的高分领先于其他知名模型，如OpenAI的o1、o3-mini和DeepSeek R1，后者的得分仅在49%左右。这一结果表明，Anthropic有意将Sonnet定位为一款强大的编码AI，专注于提升编程能力，以满足开发者在复杂代码库处理和全栈更新方面的需求。
2025-03-05 11:07:23
448
原创 mysql自动化配置工具开发探讨
通过结合Shell/Python的快速开发能力和Go的部署便利性，配合完善的异常处理机制，可构建出适应复杂生产环境的MySQL自动化配置工具。建议优先保证核心流程的健壮性，再逐步扩展高级功能。
2025-03-04 13:57:21
483
原创 哪种姿势学习deepseek效率最高?斜躺，仰卧，趴床，趴桌，坐着 or 站着?
高效学习 DeepSeek（或任何知识工具）的姿势选择需平衡 认知效率 和 健康可持续性
2025-03-04 11:04:50
471
原创 php程序员如何3天完成python学习
作为PHP程序员，你已具备编程思维和逻辑能力，3天内掌握Python基础语法和核心特性是完全可行的。关键在于利用已有编程经验进行知识迁移，同时聚焦Python独有的特性。
2025-03-04 10:19:55
1142
原创 golang程序员如何3天完成python学习
有Golang经验的程序员，想要在三天内快速学习Python，如何分配三天时间。将时间分为基础语法、核心库和框架、项目实战。第一天突破语法差异，第二天学习关键库，第三天实战项目。以下是针对Golang程序员定制的。
2025-03-03 20:00:00
836
1
原创 Go与PHP性能对比分析
Go在高并发、低延迟、资源敏感型场景的性能优势可达PHP的3-50倍，但PHP在开发效率、生态成熟度、学习成本方面仍具竞争力。建议通过混合架构实现技术栈优势互补，而非非此即彼的选择。
2025-03-03 15:26:34
1316
原创 Go 语言在秒杀系统中的高并发处理
Go 语言凭借其轻量级协程（Goroutine）、高效的调度器（Scheduler）和原生并发支持，成为秒杀系统高并发场景的理想选择。
2025-03-02 13:48:53
310
原创 Go 语言HTTP服务高并发优化方法
通过优化方案，配合压力测试工具 (wrk, vegeta) 持续验证，可在 8 核服务器上实现 10 万级 QPS 的稳定处理能力。建议根据实际业务场景选择组合优化策略，优先处理性能瓶颈最大的环节。
2025-03-02 09:41:41
660
原创 Go协程的特点和使用注意事项
Go 协程（Goroutine）是 Go 语言并发模型的核心，具有独特的设计和优势，但在使用时也需要注意一些关键问题。- 协程若因阻塞（如未关闭的 Channel、死循环）无法退出，会导致内存泄露。通过合理利用 Goroutine 的特性并规避其陷阱，可以高效构建高并发、高可靠的 Go 程序。：优先使用 Channel 通信、控制并发量、确保资源释放、防范竞态和死锁。- 创建和销毁由 Go 运行时管理，资源消耗极低，可轻松支持百万级并发。- 确保 Channel 的发送和接收成对出现，避免协程永久阻塞。
2025-03-01 09:01:55
1047
原创 Python+AnythingLLM训练DeepSeek可直接运行的完整示例
一个可直接运行的Python+AnythingLLM训练DeepSeek完整示例。
2025-02-28 14:53:35
408
原创 Redis+Golang实现的简单消息队列系统
这个实现提供了一个基础的消息队列框架，可以根据具体需求进行扩展和优化。使用Prometheus收集队列长度、处理耗时等指标。：使用BRPop进行阻塞式消息获取，支持优雅关闭。：将消息序列化为JSON后推送到Redis列表。使用Redis Streams和消费者组功能。使用RPOPLPUSH将消息移到处理中队列。添加/metrics端点暴露监控数据。：封装Redis客户端和队列操作。处理成功后删除，失败时移回主队列。使用Redis列表作为队列存储。阻塞式消息获取（BRPop）实现更复杂的消息分发模式。
2025-02-28 10:40:33
454
原创 go语言golang高并发需要注意哪些核心要点
golang处理高并发是不可避免的一件事，如果要支持10万级QPS的高并发系统，同时保证内存安全与执行效率,我们需要注意几个核心要点。
2025-02-27 10:33:33
365
原创 tidb和mysql性能优化有哪些区别
MySQL的优化核心是单机资源最大化利用，通过索引、事务、配置调优实现。TiDB的优化核心是分布式系统协同，需关注数据分布、调度策略、网络开销，并利用分布式计算能力（如 MPP）。实际优化时，需结合业务场景（OLTP 或 OLAP）、数据规模、分布式特性综合权衡。
2025-02-26 21:51:29
1164
原创 Ollama+AnythingLLM+Deepseek,调用api大批量导入数据，快速构建本地知识库
如何调用api大批量导入数据，快速构建本地知识库？生成回答：LLM结合检索结果生成最终响应。检索增强：根据用户问题检索相关文档片段；
2025-02-26 18:21:26
692
原创 AnythingLLM+Deepseek的正确训练方法
主要包括以下几个步骤：：大规模的数据集是构建高效LLM的基础。AnythingLLM的训练需要数百万甚至数十亿级别的语料库来进行预训练。高质量、多样化的文本数据有助于提升最终模型的表现。1：由于LLM的参数量极大，合理的初始权重设置至关重要。一般会采用随机正态分布等方式完成这一工作，并通过超参调整优化器的学习率等关键因素以加速收敛速度并防止过拟合现象的发生。：利用无监督学习的方式，在大量未标注的文本上进行初步训练。
2025-02-25 16:44:11
1566
1
CursorUserSetup-x64-0.46.8.exe， cursor AI自动编程，集成Claude 3.7 Sonnet推理模型
2025-03-05
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人