<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[专注于Python爬虫开发，分享爬虫技巧、项目实战与反爬经验，使用Scrapy、BeautifulSoup等工具，解决数据抓取难题。]]></title><description><![CDATA[专注于Python爬虫开发，分享爬虫技巧、项目实战与反爬经验，使用Scrapy、BeautifulSoup等工具，解决数据抓取难题。]]></description><link>https://blog.youkuaiyun.com/shanwei_spider</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; shanwei_spider]]></copyright><item><title><![CDATA[OpenVINO部署YOLO26实战：Intel CPU/NPU硬件加速，无显卡也能跑实时检测]]></title><link>https://blog.youkuaiyun.com/shanwei_spider/article/details/170182159</link><guid>https://blog.youkuaiyun.com/shanwei_spider/article/details/170182159</guid><author>shanwei_spider</author><pubDate>Sat, 07 Nov 2026 06:15:00 +0800</pubDate><description><![CDATA[本文分享了在无独立显卡的Intel i5-1235U工控机上，通过OpenVINO对YOLO26s模型进行全流程优化，将检测帧率从12帧提升至42帧的实战经验。涵盖环境搭建、模型转换、部署优化及性能调优，重点介绍如何利用CPU、核显与NPU加速，实现低成本高效率的工业缺陷检测落地，验证了OpenVINO在边缘计算场景下的强大潜力。]]></description><category></category></item><item><title><![CDATA[异步工业数据采集架构实战：aiohttp+httpx高并发方案设计与生产踩坑全解]]></title><link>https://blog.youkuaiyun.com/shanwei_spider/article/details/170181976</link><guid>https://blog.youkuaiyun.com/shanwei_spider/article/details/170181976</guid><author>shanwei_spider</author><pubDate>Sat, 07 Nov 2026 06:00:00 +0800</pubDate><description><![CDATA[本文分享企业级公开数据采集系统从多线程到异步架构的重构实战，剖析了高并发场景下的核心痛点与解决方案。通过对比aiohttp与httpx选型、构建六层分层架构（任务队列、并发控制、连接池、重试机制、异步IO处理、监控统计），重点揭示了信号量控制、全局Session复用、分层超时配置等关键设计。结合真实踩坑经验，如协程雪崩、频繁创建Session、超时失效等问题，提出可落地的最佳实践，助力开发者高效实现单节点1200并发、每小时25万请求的稳定采集能力。]]></description><category></category></item><item><title><![CDATA[YOLO推理引擎横评：TensorRT/OpenVINO/ONNX/OpenCV实测对比，速度与精度差距有多大？]]></title><link>https://blog.youkuaiyun.com/shanwei_spider/article/details/170181039</link><guid>https://blog.youkuaiyun.com/shanwei_spider/article/details/170181039</guid><author>shanwei_spider</author><pubDate>Fri, 06 Nov 2026 08:16:33 +0800</pubDate><description><![CDATA[本文基于真实工业场景，对TensorRT、OpenVINO、ONNX Runtime和OpenCV DNN四款主流推理引擎进行全维度实测。在相同硬件环境下，对比了YOLOv8n/s/m模型在GPU（FP16）与CPU（FP32）下的纯推理与端到端耗时、精度损失及部署成本。结果表明：TensorRT在GPU上性能领先，速度快2-5倍；OpenVINO在Intel CPU上优势显著，较ONNX Runtime快30%-40%；ONNX Runtime综合平衡性最佳，跨平台性强；OpenCV DNN依赖最少，适合]]></description><category></category></item><item><title><![CDATA[从CSS选择器到语义提取：AI时代工业数据采集的工程化演进路线]]></title><link>https://blog.youkuaiyun.com/shanwei_spider/article/details/170180792</link><guid>https://blog.youkuaiyun.com/shanwei_spider/article/details/170180792</guid><author>shanwei_spider</author><pubDate>Fri, 06 Nov 2026 08:13:35 +0800</pubDate><description><![CDATA[工业数据采集正经历由“依赖DOM结构”向“语义理解”的范式革命。传统正则、选择器与浏览器自动化因前端改版频繁导致维护成本高昂，而大模型驱动的语义提取技术通过自然语言描述直接获取数据，实现“位置无关”的鲁棒采集。当前主流方案包括生成选择器、端到端结构化输出及生成可复用提取代码，结合混合架构与成本优化策略，构建低成本、高可用的智能采集体系。]]></description><category></category></item><item><title><![CDATA[YOLO26 + ByteTrack 人员计数全实战：虚拟线统计、轨迹留存、遮挡场景踩坑全记录]]></title><link>https://blog.youkuaiyun.com/shanwei_spider/article/details/170117784</link><guid>https://blog.youkuaiyun.com/shanwei_spider/article/details/170117784</guid><author>shanwei_spider</author><pubDate>Thu, 05 Nov 2026 08:30:46 +0800</pubDate><description><![CDATA[本文分享了基于YOLO26与ByteTrack的人员计数方案，解决传统方法在遮挡、ID切换、重复计数等问题。YOLO26端到端设计省去NMS调参，提升速度与精度；ByteTrack两阶段匹配增强轨迹连续性。结合虚拟绊线计数、轨迹历史留存与方向判断，实现高准确率客流统计。附完整代码与参数调优建议，适用于真实场景工程落地。]]></description><category></category></item><item><title><![CDATA[别只改UA！TLS指纹+HTTP/2指纹+浏览器JS指纹全链路绕过踩坑实录]]></title><link>https://blog.youkuaiyun.com/shanwei_spider/article/details/170105707</link><guid>https://blog.youkuaiyun.com/shanwei_spider/article/details/170105707</guid><author>shanwei_spider</author><pubDate>Thu, 05 Nov 2026 07:18:57 +0800</pubDate><description><![CDATA[Go生态里常用，适合需要精细化调整TLS扩展、自定义指纹的场景，代价是自己维护浏览器画像，调试成本高，不适合快速开发。现在的机器人防护体系，早就不是靠简单UA识别脚本的时代。很多人一直停留在几年前的反爬思路，只在HTTP头和Cookie上打转，卡在TLS握手这一关，浪费大量时间在代理调试上。三层指纹对抗，本质是模拟一个完整、自洽的真实客户端身份，从网络握手、HTTP协商，到前端JS环境，每一层特征都要匹配同一个浏览器画像。]]></description><category></category></item><item><title><![CDATA[YOLO26凭什么再涨3.8个点？五大核心创新逐点深挖：MuSGD、STAL标签分配与ProgLoss完全拆解]]></title><link>https://blog.youkuaiyun.com/shanwei_spider/article/details/169952009</link><guid>https://blog.youkuaiyun.com/shanwei_spider/article/details/169952009</guid><author>shanwei_spider</author><pubDate>Wed, 04 Nov 2026 06:15:00 +0800</pubDate><description><![CDATA[最近把产线的缺陷检测模型从YOLOv11升级到了YOLO26，没改数据集、没加训练轮次，1280分辨率下n版本的AP50-95直接涨了3.8个点，CPU端推理速度还快了1.2ms。一开始以为就是堆了参数量，扒了源码跑了几组消融实验才发现，这次的升级完全是精细化调优的结果，五个核心创新点环环相扣，几乎把检测链路里能抠的细节都抠到了极致。身边不少朋友直接拉了默认参数就跑，有的涨点不明显，有的甚至瞎调优化器反而掉点。本质上都是没搞懂每个创新点的适用场景和底层逻辑，只会拿来主义自然发挥不出全部效果。]]></description><category></category></item><item><title><![CDATA[Pydantic 对接大模型：强制结构化输出，实现工业数据采集零解析错误]]></title><link>https://blog.youkuaiyun.com/shanwei_spider/article/details/169951974</link><guid>https://blog.youkuaiyun.com/shanwei_spider/article/details/169951974</guid><author>shanwei_spider</author><pubDate>Wed, 04 Nov 2026 06:00:00 +0800</pubDate><description><![CDATA[面对网页数据采集中页面结构频繁变动的痛点，传统XPath与正则解析维护成本高、容错差。虽大模型语义理解能力强，但输出格式不稳、类型无约束，难以直接落地。本文提出“Pydantic + 大模型”结构化方案：通过Pydantic定义数据模型并生成JSON Schema，强制大模型按规范输出，再以Pydantic校验确保格式合规，实现从输入到落库的闭环。实测显示，该方案在多站点采集中解析错误率趋近于零，兼具高准确率与强复用性，显著降低维护成本，是应对复杂异构页面的理想解法。]]></description><category></category></item><item><title><![CDATA[踩过30+部署坑：YOLO26从零训练到工业级部署全流程实战]]></title><link>https://blog.youkuaiyun.com/shanwei_spider/article/details/169925530</link><guid>https://blog.youkuaiyun.com/shanwei_spider/article/details/169925530</guid><author>shanwei_spider</author><pubDate>Tue, 03 Nov 2026 09:55:12 +0800</pubDate><description><![CDATA[YOLO26不是万能的，选对场景才能发挥最大价值。边缘端、CPU部署、对延迟稳定性要求高的场景，无脑选YOLO26，NMS-Free和移除DFL的收益非常直观纯服务器GPU推理，追求极致精度的，v11和v10也完全够用，不用强行升级工业缺陷检测、小目标密集的场景，YOLO26的小目标优化有明确收益，值得迁移部署优先级：TensorRT>NCNN/OpenVINO>ONNX Runtime，能用量化就用量化，性能提升远大于调模型结构。]]></description><category></category></item><item><title><![CDATA[踩过百万Token的坑：LLM数据提取的成本、准确率与稳定性全优化]]></title><link>https://blog.youkuaiyun.com/shanwei_spider/article/details/169925350</link><guid>https://blog.youkuaiyun.com/shanwei_spider/article/details/169925350</guid><author>shanwei_spider</author><pubDate>Tue, 03 Nov 2026 09:53:04 +0800</pubDate><description><![CDATA[成本和准确率做上去了，跑两天就崩也没用。稳定性是很多团队容易忽略的点，也是Demo和生产环境的核心差距。直接把原始HTML丢给大模型，90%的Token浪费在冗余内容上Prompt写得模糊笼统，不给字段定义和示例，全靠模型自由发挥不做结构化输出约束，格式解析失败率居高不下所有页面都用最贵的大模型，成本根本控不住提取结果直接落库，不加校验逻辑，脏数据一大堆没有降级兜底方案，模型API一挂全链路瘫痪不做页面质量检测，反爬拦截页也调用LLM白花钱。]]></description><category></category></item><item><title><![CDATA[TensorRT 部署 YOLO26 极致优化：INT8量化 + 流式推理，FPS提升3倍]]></title><link>https://blog.youkuaiyun.com/shanwei_spider/article/details/169818784</link><guid>https://blog.youkuaiyun.com/shanwei_spider/article/details/169818784</guid><author>shanwei_spider</author><pubDate>Mon, 02 Nov 2026 09:04:24 +0800</pubDate><description><![CDATA[TensorRT 优化不是一锤子买卖，不是转个 FP16 就叫优化了。从基础算子融合，到 INT8 量化校准，再到流式流水线调度，每一层优化都对应着不同的性能收益，也对应着不同的实现复杂度。对于大多数工业场景，INT8 量化是性价比最高的优化点：半天到一天的校准工作量，换来两倍以上的性能提升。而流式推理则是性能天花板的最后一公里，适合对帧率有极致要求的高速产线、多路并发场景。]]></description><category></category></item><item><title><![CDATA[YOLO26 深度解析：NMS-Free 端到端架构，CPU推理提速40%的底层原理]]></title><link>https://blog.youkuaiyun.com/shanwei_spider/article/details/169818345</link><guid>https://blog.youkuaiyun.com/shanwei_spider/article/details/169818345</guid><author>shanwei_spider</author><pubDate>Mon, 02 Nov 2026 09:01:41 +0800</pubDate><description><![CDATA[YOLO26 标志着YOLO系列从「追求精度指标」转向「追求部署友好」的新阶段。NMS-Free端到端设计、移除DFL、训练侧三大创新，本质上都是在做同一件事：让模型更简单、更确定、更适合端侧落地。对于工业开发者而言，这不是一次简单的版本迭代，而是实实在在的降本增效——纯CPU就能跑实时检测、部署代码大幅简化、帧率稳定可控，很多以前需要GPU才能做的项目，现在用普通工控机就能搞定。未来的目标检测发展方向也很明确：端到端会成为标配，后处理会逐步被模型内化，推理引擎和硬件厂商也会针对端到端模型做专门优化。]]></description><category></category></item><item><title><![CDATA[Firecrawl 深度使用：整站爬取+Markdown输出，AI Agent必备数据工具]]></title><link>https://blog.youkuaiyun.com/shanwei_spider/article/details/169817639</link><guid>https://blog.youkuaiyun.com/shanwei_spider/article/details/169817639</guid><author>shanwei_spider</author><pubDate>Mon, 02 Nov 2026 08:58:01 +0800</pubDate><description><![CDATA[在构建AI知识库、RAG检索系统、智能体联网能力时，最繁琐的环节往往不是大模型本身，而是前端数据采集：传统爬虫需要手写CSS/XPath选择器、处理页面渲染、过滤广告与导航栏、清洗HTML结构，网站一改版就要重写解析逻辑，维护成本极高。Firecrawl 是专门为AI场景设计的网页采集引擎，内置浏览器渲染、智能内容提取、自动反爬对抗，能直接输出干净的 Markdown、结构化JSON数据，无需手写解析规则。配合整站爬取能力，可以一次性把整个文档站、技术博客、产品手册全部转为结构化文本，直接喂给大模型。]]></description><category></category></item><item><title><![CDATA[2026 Cloudflare 最新绕过方案：从5秒盾到Turnstile验证码全通关]]></title><link>https://blog.youkuaiyun.com/shanwei_spider/article/details/169817378</link><guid>https://blog.youkuaiyun.com/shanwei_spider/article/details/169817378</guid><author>shanwei_spider</author><pubDate>Mon, 02 Nov 2026 08:56:29 +0800</pubDate><description><![CDATA[Cloudflare 的风控体系一直在迭代，早年单纯改UA、用旧版cloudscraper的方案大面积失效。现在整套风控是多层评分模型：IP信誉、JA4+ TLS指纹、JS环境探测、Canvas/WebGL硬件指纹、行为生物特征联合打分，5秒 interstitial 页面和表单内嵌 Turnstile 是两套独立质询链路，不能用同一套方案处理。本文梳理2026可用路线、分层实现、踩坑边界与生产级选型。]]></description><category></category></item><item><title><![CDATA[写爬虫前先看判例：从 robots 协议到不正当竞争，Python 开发者的 5 条红线]]></title><link>https://blog.youkuaiyun.com/shanwei_spider/article/details/169725812</link><guid>https://blog.youkuaiyun.com/shanwei_spider/article/details/169725812</guid><author>shanwei_spider</author><pubDate>Sun, 01 Nov 2026 09:26:26 +0800</pubDate><description><![CDATA[很多 Python 开发者写爬虫时的第一反应是：页面能打开，数据能看到，那应该就能爬。。尤其是《反不正当竞争法》2025 年修订新增“数据专款”后，数据抓取的风险判断从“能不能拿到”变成了“怎么拿、拿多少、怎么用”。下面这 5 条红线，建议每个做数据采集、AI 训练数据、比价插件、舆情分析、数据产品的开发者都先过一遍。]]></description><category></category></item><item><title><![CDATA[爬虫不是脚本：用 Scrapy + Redis + 数据管道做百万级去重与增量采集]]></title><link>https://blog.youkuaiyun.com/shanwei_spider/article/details/169725728</link><guid>https://blog.youkuaiyun.com/shanwei_spider/article/details/169725728</guid><author>shanwei_spider</author><pubDate>Sun, 01 Nov 2026 09:25:24 +0800</pubDate><description><![CDATA[前者是一个有状态、可恢复、可观测的系统，后者只是一个临时脚本。Scrapy提供采集框架和 Pipeline 机制；Redis提供全局去重、持久化队列和分布式状态；解决 Set 去重的内存瓶颈；DeltaFetch + 时间戳 + 哈希共同实现增量采集；数据管道把采集、清洗、入库解耦；三态队列 + 监控保证任务不丢失、问题可追溯。把去重和队列搬到 Redis，把增量判断放进数据管道。这不一定是终极架构，但足以让采集系统从"能跑"变成"敢长期跑"。]]></description><category></category></item><item><title><![CDATA[AI Agent 时代的数据采集：MCP + Playwright 搭一条能自主决策的采集链路]]></title><link>https://blog.youkuaiyun.com/shanwei_spider/article/details/169725482</link><guid>https://blog.youkuaiyun.com/shanwei_spider/article/details/169725482</guid><author>shanwei_spider</author><pubDate>Sun, 01 Nov 2026 09:22:06 +0800</pubDate><description><![CDATA[Agent 采集不能一上来就“随便访问”。允许访问的域名；禁止访问的路径；最大爬取深度；最大页面数量；是否允许登录；是否允许执行 JavaScript；失败后的重试策略；遇到验证码、支付、删除类操作时必须停止。例如，一个合规的采集任务可以是：从开始，最多爬取 3 层，只采集商品列表页和详情页，不访问后台、不提交表单、不处理支付，遇到验证码立即终止并上报。MCP让采集能力标准化，Agent 可以像调用函数一样调用抓取、搜索和浏览器操作；Playwright。]]></description><category></category></item><item><title><![CDATA[大模型接管解析层：用 Crawl4AI + LLM 把 XPath 维护成本降到接近零]]></title><link>https://blog.youkuaiyun.com/shanwei_spider/article/details/169725315</link><guid>https://blog.youkuaiyun.com/shanwei_spider/article/details/169725315</guid><author>shanwei_spider</author><pubDate>Sun, 01 Nov 2026 09:20:41 +0800</pubDate><description><![CDATA[Crawl4AI把 Playwright 渲染、内容过滤、结构化提取封装成一套开箱即用的管线；LLM 提取用"声明式定义"取代"手写选择器"，网站改版不再等于爬虫重写；自愈架构把 LLM 放在异常处理链路里，正常情况零成本，失效时自动修复；让 RAG 数据管线的构建成本断崖式下降。如果你还在为 XPath 维护头疼，不妨试试把解析层交给大模型——写 Prompt 比写选择器，轻松太多了。]]></description><category></category></item><item><title><![CDATA[2026 爬虫技术栈全景：Playwright 取代 Selenium、curl-cffi 对抗 TLS 指纹，你还在用 requests 硬扛吗？]]></title><link>https://blog.youkuaiyun.com/shanwei_spider/article/details/169725167</link><guid>https://blog.youkuaiyun.com/shanwei_spider/article/details/169725167</guid><author>shanwei_spider</author><pubDate>Sun, 01 Nov 2026 09:18:10 +0800</pubDate><description><![CDATA[2026 年的爬虫技术栈已经不再是“requests + BeautifulSoup 走天下”。Playwright更适合处理动态页面、SPA、网络拦截和浏览器自动化，正在成为新项目的首选；curl-cffi解决了传统 HTTP 库在 TLS/JA3 指纹上的短板，让轻量请求也能更接近真实浏览器；requests没有“过时”，但它更适合内部接口、简单采集和调试场景；真正稳定的采集系统，靠的不是某个单点工具，而是指纹伪装、代理策略、并发控制、监控告警和合规边界的整体设计。如果你还在用。]]></description><category></category></item><item><title><![CDATA[制造业AI Agent落地实战：设备巡检+故障诊断+知识库全架构拆解，我们踩过的7个坑]]></title><link>https://blog.youkuaiyun.com/shanwei_spider/article/details/169637043</link><guid>https://blog.youkuaiyun.com/shanwei_spider/article/details/169637043</guid><author>shanwei_spider</author><pubDate>Sat, 31 Oct 2026 10:48:15 +0800</pubDate><description><![CDATA[传统设备运维模式有三个绕不开的瓶颈，靠堆系统已经解决不了了。第一是数据孤岛。设备运行数据在SCADA里，维修记录在EAM里，巡检记录在纸质表单里，工艺参数在MES里，故障说明书是PDF文档。一个简单的故障排查，需要横跨五六个系统查数据，大部分时间都花在信息搬运上。第二是被动响应。绝大多数系统都是报警了才通知人，没有预判能力。而且报警阈值都是固定的，设备老化、工况变化后，阈值就不准了，要么漏报要么误报成灾，最后运维人员干脆把报警窗口最小化。第三是经验断层。老师傅脑子里的故障判断逻辑，没法沉淀成系统能力。]]></description><category></category></item></channel></rss>