后续文章将在博客园更新

墨衍会员 · AI 创作全网分发 墨衍智能分发 本文由作者通过墨衍一键同步至各平台 1分发平台 200+累计阅读 246平均单平台已同步平台优快云微信公众号微博知乎掘金百家号博客园抖音小红书 你的文章也可以这样分发 墨衍会员 ¥399起/年，写一次发全网我也要 → 码龄9年

关注

原创最新推荐文章于 2026-07-28 13:02:25 发布 246 阅读 AI 写同款· GEO 优化 ›

webMagic 全面剖析（更新中。。。） \qquad WebMagic爬虫主要由Downloader，PageProcessor，Pipelines，scheduler四个主要的部分构成。总调度类为Spider，主要负责请求任务分发，控制多个线程同时对多个网页进行下载，解析，存储。本文会针对这五个部分进行详细的代码剖析。1.Downloader1.1 Downloader接口public interface Downloader { 阅读详情

我的博客园地址：https://www.cnblogs.com/LMFrank/

收录于

当前文章被以下社区和专栏收录：

2018 02 11 告别选择困难症——webmagic爬虫爬取拉勾网职位信息我好久没来csdn写文章了，为什么呢？说句实话，其实不是自己不来写文章了，而是自己太关注形式化的东西了，有一段时间把文章写在github上面，感觉有自己的站点很特殊，很与众不同。其实用github来写文章确实是很不错的，使用mackdown标记语言给人一种高效编写的感觉。所以打算好好利用这两个平台，csdn的简洁性，可以让自己在使用windows系统时写一写技术文章同时很好地与他人进行评论交流。在... 阅读详情

相关推荐

Java后端中的链路追踪：使用OpenTelemetry实现全链路监控

在现代的微服务架构中，链路追踪是监控和优化系统性能的关键技术。通过链路追踪，我们可以跟踪请求在系统中的流转，识别性能瓶颈，定位问题根源。本文将介绍如何在Java后端应用中使用OpenTelemetry实现全链路监控，包括具体的实现步骤和代码示例。通过集成OpenTelemetry，您可以实现全面的链路追踪，帮助您识别瓶颈和潜在问题，从而提升系统的可靠性和用户体验。OpenTelemetry是一个开源项目，旨在提供统一的工具集来收集、处理和导出应用程序的遥测数据，包括跟踪、度量和日志。

聚娃科技开发者博客 1727

webmagic新版文档（更新中）

2019独角兽企业重金招聘Python工程师标准>>> ...

weixin_34032827的博客 569

RD算法（一）初出茅庐 —— 算法原理

在《SAR成像概述》的第4节已经对各种SAR成像算法进行了一个简要的概述，本文就直接从RD算法讲起了。

5282

WebMagic：强大的Java网络爬虫框架

在当今信息爆炸的时代，数据的获取和处理变得越来越重要。网络爬虫作为获取网络数据的重要工具，已经成为许多开发者和数据科学家的必备技能。今天，我们将介绍一个广受欢迎的Java网络爬虫框架——WebMagic。

技术无疆 2443

Megatron-LM从头训练大语言模型：并行策略图示【Tensor并行、Pipeline并行、Data并行、Sequence并行、virtual_pipeline并行、Context并行】

节点包含的层每GPU的参数内存每GPU的激活内存节点0Stage 0层1-1212层参数/2 (TP切分)8k序列激活 (CP切分)节点1Stage 1层13-2412层参数/2 (TP切分)8k序列激活 (CP切分)节点2Stage 2层25-3612层参数/2 (TP切分)8k序列激活 (CP切分)节点3Stage 3层37-4812层参数/2 (TP切分)8k序列激活 (CP切分)负载均衡：每个节点处理相同数量的层（12层）内存优化。

u013250861的博客 285

【七.三维视觉与视频分析】【1.点云处理：PointNet++/PointTransformer】

各位老铁，今天咱们要聊的可不是普通的二维图像处理，而是三维视觉领域最硬核的技术——点云处理。从最早的PointNet到如今的PointTransformer，这场技术进化堪比三维版的"像素革命"。今天咱们就深入解剖两大里程碑：PointNet++和PointTransformer，保证让你看完全文就能在点云领域横着走！想象一下，你抓了把沙子撒在空中，每粒沙子的位置都是三维坐标——这就是点云的典型形态。最后送大家一句话：点云处理就像在三维宇宙中寻找星辰的轨迹，既要望远镜的宏观视野，也要显微镜的细致入微。

商务合作|问题讨论|交流学习请联系作者微信，加微信请务必注明来意，博客主页有联系方式 473

后续文章在博客园更新

http://www.cnblogs.com/eaglediao/

eaglediao的专栏 313

Linux驱动学习--HCI框架及源码分析

目录一、引言二、HCI框架三、pcm_read简要分析一、引言最近一直在分析蓝牙驱动，发现在底层驱动与上层协议栈间还有一层HCI，主机控制层，两者之间通过HCI协议通讯而Linux也将HCI协议抽象层了一个框架。为上层提供一个统一的接口，让上层协议不依赖于具体硬件的实现。HCI在硬件中的固件与HCI在主机端的驱动通信方式有多种，比如像 UART、USB和PC Card等等。hci_core.c相当于一个框架，用于把各种具体通信方式绞合起来，并提供一些公共函数的实现。今天就来简单的分析一下二

文艺小少年的博客 2002

【通知】此账号停止更新，后续文章将发表在博客园

感谢过去几年关注过、点赞过、评论过、收藏过我文章的朋友。此账号不再更新，希望在新的一隅可以和你们再次相遇。

一程山水一程歌 1438

第10集：AIOps 平台架构设计！画出面试官最想看的系统全景图

本文介绍了如何将AIOps平台的六大功能模块整合为四层架构设计，并生成专业系统全景图。文章首先指出面试中架构设计能力的重要性，强调一张清晰的架构图能直观展现全局观。随后指导读者检查项目结构，准备绘图环境。核心部分详细拆解了四层架构：数据采集层（Prometheus、ELK等）、AI分析层（巡检、告警、预测等）、决策执行层（工作流引擎、自愈Agent）和展示交互层（API、控制台）。通过Python代码自动生成模块依赖关系图，并提供了面试讲解技巧。全文旨在帮助开发者在面试中系统性地展示项目架构设计能力。

qq_2937655951的博客 92

知识图谱大模型系列之 12 LLM 知识图谱构建器：从零到 GraphRAG 使用 LLM 知识图谱生成器在 GenAI 应用中提取和使用知识图谱(教程含源码)

为了更深入地了解 LLM 知识图谱构建器，GitHub 存储库提供了大量信息，包括源代码和文档。此外，我们的文档提供了详细的入门指南，而GenAI 生态系统则提供了有关可用更广泛工具和应用程序的进一步见解。

iCloudEnd的博客 2037

csdn 不再维护，已转移博客园

鉴于csdn的垃圾服务，以及非人性化设计，已经忍无可忍，已经将全部博客转移到博客园，地址：http://www.cnblogs.com/happyxiaoyu02/ csdn不再维护，后续或许会陆续删除文章，只在博客园进行博客相关更新，特此说明！

知识源于积累，科技改变生活！ 2135

VC中sqlite的使用

在VC中对sqlite的使用，实现数据库大批数据的快速插入，读取数据库中的数据在ListCtrl中显示

本博客将搬家到博客园

后续的博文都会更在博客园。

HP_C2H2的博客 362

SIMATIC S7-1200, S7-1500 PID 控制[手册]

怀旧版电脑GBC模拟器

再现原版GBC掌机的界面，电脑运行连游戏界面都一样大小，很怀旧，很真实，（英文版）强烈推荐，很小的文件，很难才找到的。

博客搬家公告

从 csdn 搬到了 cnblogs

ez_lcw的博客 599

写过的博客是否可以更改？有个疑问？

不知道在博客园写过的文章是否可以更改，特此测试！！！经过一天测试，发现写过的博客还是可以更改的！！！转载于:https://www.cnblogs.com/fxnksqm/p/6244401.html...

weixin_30689307的博客 218

博客园安卓客户端合仔茶版本V5正式发布

博客园安卓客户端合仔茶版本正式推出5.0版本,在上一个版本发布时候获得了广大园友的支持和好评(几千浏览,上百条评论),在此我感到无比的鸡冻,我会更加努力,更好为广大园友服务!!! 上一个版本同时也收到了很多园友的意见和建议，我都一一收集起来了，力求在新版本当中能够满足广大园友的需求，5.0的版本较4.0的版本有了较大的改变，最重要的一点是加入了登录功能。大家可以通过手机端登...

weixin_30814223的博客 200

更新阵地迁移通知

新地址：https://www.cnblogs.com/jinrui31。优快云将不再发布新博文，欢迎大家移步博客园继续交流学习！后续嵌入式相关学习记录、技术文章全部转移至博客园发布。

2601_96647627的博客 160

搬家了，博客园

【代码】搬家了，博客园。

lhylovec的博客 27

【IPTV·全网独家】烽火HG680-L 晨星MSO9385方案ttl刷机教程（安卓4）有保姆级视频教程

此快照时间：2024/10/13 2:09。

HEISEN2025的博客 2633

Linux一键换源脚本——让换源更加轻松

建议您前往up的私人博客yunsen2025.top进行观看内容有变动会第一时间及时更新！

HEISEN2025的博客 442

66666666666666

好恶心，改回来没几天又把文章给我设置成VIP，以后不在优快云上写博客了。

吃多到肚子无法对折 130

将博客园搬家到csdn的通知，以后还会同步更新

csdn地址：https://blog.youkuaiyun.com/lll19960406 优快云https://blog.youkuaiyun.com/lll19960406 博客园https://home.cnblogs.com/u/bingchenzhilu本站

lll19960406的博客 180

python 发布文章_一个发布文章到博客园的 Python 脚本

copy from https://github.com/DeppWang/cnblogs-post配置博客园 -> 管理 -> 设置 -> 允许 MetaWeblog 博客客户端访问在 cnblogs-post.py 中配置：config = {'user_unique_name': 'deppwang', ...

weixin_36245388的博客 412

上一篇： MySQL总结（一）—— 架构、数据类型、引擎

下一篇： Redis总结（一）—— 基础

Java后端中的链路追踪：使用OpenTelemetry实现全链路监控

聚娃科技开发者博客

10-03

1727