- 博客(63)
- 收藏
- 关注
原创 周报掉了 12 个词,月报却涨 8 个:SerpBase 口径不同
两张表,两个结论一个客户上周把两份报表同时发给我:周报里「掉出前 20」的词有 12 个,月报里「进入前 20」的词有 8 个。他问:「这两份数据是不是有一份错了。都没错。周报比的是这周一和上周一,月报比的是 11 月和 10 月。同一批词,窗口不同,结论可以完全相反。
2026-11-16 16:14:40
47
原创 采集结果怎么送到人手里:SerpBase 的 5 种推送方式(2026)
凌晨跑完,早上没人看上周帮一个团队看采集系统,任务每天凌晨两点跑完,结果写进数据库,然后就没有然后了。运营早上九点打开后台,看到的是一张需要自己筛选的表;老板要看的是「昨天哪几个词掉了」,得等人手动拉一次。数据采得很勤,交付链路的最后一公里没接上。这篇把五种常见的推送方式摆出来,按「谁看、看什么、多久看一次」选。
2026-11-16 16:12:54
142
原创 SerpBase vs Firecrawl:SERP 数据和整站抓取是两条路(2026)
上周有个做知识库的朋友问我:Firecrawl 能把网页转成 Markdown,那还要 SerpBase 干什么。这个问题我今年被问过三四次,每次都要从头讲一遍,索性写下来。两边我都用过,也都在不合适的地方用过。
2026-11-12 10:39:51
533
原创 同一份 1 credit:SerpBase 的 json、raw、markdown 该选哪个
接入 AI Agent 之后,格式选错才开始疼今年做 RAG 和 Agent 的项目多起来,同一个搜索端点,被三种完全不同的调用方在用:后台报表、爬虫补数、大模型读页面。一开始我都用默认的 json。后来发现喂给模型的场景里,模型要的是干净正文,json 里那一堆嵌套结构反而成了噪音;而补数的场景又需要原始页面里的链接,json 只给摘要不够用。SerpBase 的网页搜索支持三种返回格式,价格一样,都是 1 credit,差别在拿到的东西。
2026-11-11 09:55:26
71
原创 黑五价格监控用哪个端点:SerpBase 三个端点按 1c/2c 该怎么选
黑五前两周,30 个 SKU 该用哪个端点查价11 月 27 日是今年黑五。做跨境电商的朋友要盯 30 个核心 SKU 的对手价格,问我用哪个端点。他手上有一份清单:部分是亚马逊上的标品,部分是自己独立站在卖的品,还有几个只能在线下门店买到。我给他的回答是三个端点分工,而不是一个端点全包。这三个端点的价格不一样,返回的东西也不一样,混着用会浪费预算。
2026-11-11 09:54:29
276
原创 双十一后流量掉三成:用 SerpBase 分清需求退了还是位置丢了
去年 11 月 14 日,流量掉了三成双十一过完第三天,监控群里的图开始变难看:全站自然搜索流量比 11 月 10 日掉了 31%,几个核心品类词的位置没动,落地页的访问量却少了一半。老板在群里问了一句:「是不是被降权了,要不要改标题。我的回答是:先别动页面。大促后的回落有几种不同的原因,改标题只对其中一种有效,改错了要等一个月才能看出效果。
2026-11-10 10:10:44
304
原创 别再 print 了:用 loguru 给 SerpBase 采集任务记一份能查的日志
一个只有 print 的脚本,出了问题查了三小时两千多行「查询成功」,中间夹着几行没有关键词、没有时间的报错,全部没有 request_id。他花三小时定位到一个问题:某个长尾词本来就没有自然结果,脚本没有区分这种情况,最后导出的表少了一列。这三小时里有一半时间在猜「哪一次调用对应哪一条数据」。日志的价值不在「记录发生过什么」,而在「出问题后能定位到哪一次调用」。print 做不到这一点。
2026-11-10 10:01:53
164
原创 别再改代码换环境:用 pydantic-settings 管好 SerpBase 的 Key 和参数
API key 写在第 12 行,仓库推上去才发现一个读者的项目被安全扫描拦了: 的明文直接写在采集脚本第 12 行,跟着代码一起进了仓库。他的解释很常见:「本地跑一下,先这么写,后面再抽出来。」问题在于「后面」往往不会来。同一个脚本慢慢长出三个副本:测试用一份 key、生产用一份 key、同事本地又改了一次 market 参数。改配置变成改代码,改代码就有推错分支的风险。pydantic-settings 解决的就是这件事:配置从代码里拿出来,带类型、带校验、带优先级。pydantic-settings
2026-11-09 10:19:55
248
原创 用 typer 把 SerpBase 采集脚本做成命令行工具:交接时不用再发十二条微信
一个只有我知道怎么跑的脚本上周把采集项目交接给同事,他问了一句「这个脚本怎么跑」。我翻了翻聊天记录,发现过去半年我给不同的人解释过同一件事:先改第 38 行的 GL 变量,再改第 52 行的关键词文件路径,然后,如果要批量就加个--all,但这个参数只在第 60 行有判断。一个脚本,三处硬编码,零文档。用 typer 把它包一层,成本大概二十分钟,之后--help就是文档。
2026-11-09 10:19:06
145
原创 用 pyarrow 把 SerpBase 快照存成 Parquet 分区表:1.2TB 压到 90GB
写完发现每个分区只有一个文件,40 万个目录,每个几 KB。现在加了一条硬规则:分区键的目标基数控制在几千以内,落盘后检查单文件大小,低于 32MB 就合并,高于 512MB 就考虑加一级分区。两级之后,分区数量从 40 万降到 2000 左右,单文件大小落在 80 到 150MB 之间,扫描效率才真正起来。年底做复盘要算「全年各域名在首页出现次数」时,问题来了:扫描一遍要六个小时,中间还不能被打断。单个文件小、数量多、全是 JSON 文本,这三个特点叠在一起,就是典型的列存场景没被利用。
2026-11-07 10:15:30
335
原创 年末预算重排:把 SerpApi 代码迁到 SerpBase,只改一行 base URL 的回归清单
11 月 5 日,一份续费单把迁移重新推上桌面团队用的搜索数据服务年底续费,财务把报价单转过来,附了一句:「明年这块能不能压一压?负责采集的同事第一反应不是价格,是工作量:「换供应商要改多少代码?回归测试排得开吗?这个顾虑在过去是成立的。换一家 SERP API,通常意味着重写请求构造、重写字段解析、重跑一遍所有下游报表。SerpBase 提供了一个兼容端点,把这件事压缩成一行改动。下面是完整的迁移清单,包括我在回归测试上踩过的那次坑。
2026-11-07 10:13:30
366
原创 用 Jinja2 把 SerpBase 周报做成模板:改一次样式,三种输出一起生效
每周手拼 HTML 邮件,改一处格式要翻三个脚本。三份代码各自把同一批排名数据拼成字符串。客户说表格想加一列「上周排名」,我得改三遍;运营说品牌名要高亮,又得改三遍。改完一次总要漏掉一处,发出去的邮件和存档的 Markdown 版本对不上,同事拿两份报告核对,先花半小时对齐格式。数据只有一份,输出有三种,模板只该写一次。这就是我把周报迁到 Jinja2 的原因。
2026-11-06 12:27:06
220
原创 用 rich 给批量采集做一块终端看板:进度、表格与实时刷新
五百行日志,没人看得下去批量采集五百个关键词,脚本每个词打一行日志。跑起来终端刷得飞快,跑完之后往上翻,根本不知道哪些成功、哪些失败、哪个词最慢。日志适合事后排查,不适合「跑的过程中看状态」。要做实时看板,rich的 Progress、Table、Live 三个组件组合起来就够了。
2026-11-03 12:29:21
287
原创 用 diskcache 给 SerpBase 结果做持久缓存:重启不丢、容量可控
进程一重启,缓存就白做了采集脚本里用缓存查询结果,跑起来很顺:同一个词第二次查,直接命中。问题出在进程结束。cron 每天跑一次,每次都起新进程,lru_cache的内存缓存跟着进程一起消失——每天第一次跑,缓存永远是空的。结果就是:同一个词,每天都重新请求。一次网页搜索 1 credit,500 个词反复查,额度消耗得比想象中快。
2026-11-03 12:28:14
151
原创 用 SQLite FTS5 给 SerpBase 结果建全文检索
单机也能有全文搜索采集数据攒下来之后,最常见的本地需求是:在几十万条标题和摘要里,找一个词、查一类话题。全表扫,到几万行就开始卡。SQLite 自带 FTS5 全文检索,不需要 ES,不需要额外服务。一个文件、一行建表语句,就能给本地快照库加上搜索能力。
2026-11-01 10:52:53
146
原创 监控 AI 搜索引用的 5 个最佳 API(2026):GEO 数据层怎么搭
GEO(生成式引擎优化)是 2026 年最火的概念之一,但我聊下来的团队,十个有九个卡在同一个地方:SaaS 工具订阅买了,报表很好看,——你不知道 AI 概览引了哪些站,就不知道该优化谁;你不知道自家品牌在 LLM 回答里什么出场率,所谓"优化"就是玄学。这篇讲搭 GEO 数据层的 5 条路。老规矩,先分清数据,再谈工具。
2026-10-31 10:04:02
51
原创 用 polars 处理 SerpBase 采集数据:从 JSON Lines 到报表(附代码)
数据一多,pandas 就开始等采集攒到几百万条结果之后,用 pandas 做聚合会明显卡住。数据不大时无感,一天几十万条就开始等。polars是 Rust 写的 DataFrame 库,懒执行加列式存储,同样的聚合快一个数量级,语法也更接近 SQL。这篇用采集数据走一遍。
2026-10-30 13:52:57
191
原创 用 orjson 加速 SerpBase 响应解析:基准对比与注意事项
解析成了瓶颈采集任务跑起来之后,CPU 占用最高的往往不是网络,是 JSON 解析。一次网页搜索的响应带十几个模块,几千次请求就是几千次解析,标准库json在这种情况下会变成明显的瓶颈。orjson是目前 Python 里最快的 JSON 库之一,替换成本很低。
2026-10-30 13:51:56
139
原创 SerpBase 海外房产调研实战:用搜索 API 批量摸底 Zillow/Redfin 房源信息
后来换了个思路:这些房源页面本来就被 Google 索引着,用搜索 API 按"城市 + 房型 + 关键词"批量搜,先把每个区的大致价位和房源密度摸出来,再挑几个区细致看。用正则抽出来,按城市分组求个中位数,区域价位的基本盘就有了。用通用搜索 API 的好处是"想搜什么就搜什么":今天看奥斯汀,明天看凤凰城,查询改一下就行,不用重新谈合同。:这里拿的是 Google 索引到的公开页面快照,不是 Zillow 的官方 API,也不是实时报价。是必须的——房源信息是本地化的,用中国区参数搜美国房源,结果会飘。
2026-10-29 09:25:37
256
原创 SerpBase 专利调研实战:用搜索 API 快速摸清一个技术领域的专利布局
我一开始用最笨的办法:打开 Google Patents,一个词一个词搜,翻页,点进去看摘要,记到表格里。SerpBase 的入门包 20,000 credits,做这种调研基本不用考虑成本问题,真正贵的是你的分析时间。注意摘要里的日期是文本,格式不统一,解析时要做兼容,别直接。老板要的东西很具体:这个赛道里,主要玩家都申请了什么方向的专利,近三年是往哪个技术分支堆资源。第一个是中文技术词,第二个换技术分支,第三个用英文覆盖海外申请,第四个加产业化关键词,用来区分实验室研究和接近量产的专利。
2026-10-29 09:25:01
409
原创 # SerpBase 排名监控免费定时跑:GitHub Actions 从零配置(附完整 yml)
这篇把从零到跑通的配置完整写一遍,用的是 SerpBase(官网 https://serpbase.dev)的搜索接口,换别的接口也一样套。排名监控这种活,最尴尬的地方是"要持续跑,但不值得为它买台服务器"。买 VPS 吧,一个月几十块,就为了每天跑一次几分钟的脚本,怎么算都不划算。排名监控对时间精度要求不高,但如果你的业务要求"每天早上 9 点整的数据",就别依赖它。私有仓库的 secret 对普通成员也不可见,日志里也不会明文回显,这是放 key 的正确位置。真出问题排查时,打印。,值是你的 key。
2026-10-28 11:42:03
351
原创 SerpBase 搜索结果去重指南:URL 归一化 + 标题相似度,别让同一个结果算三次
0.92 这个数偏保守,宁可漏合并,也别把两条真正不同的结果合成一条——排名统计里"漏合并"只是多一条,"错合并"会直接丢数据。跑了一周,统计表让我起了疑心——有个关键词的 top10 里,"同一个页面"占了 3 条。跨关键词、跨地区的去重是另一件事,别混在一起——同一个 URL 在美区和德区都出现是正常的,那不是重复,是覆盖。去重不是花活,是数据可用的前提。搜索结果里同一篇文章换个参数就占两个位次,你不处理,后面所有基于排名的判断都是错的。搜索结果的 URL 里塞了很多不影响内容的噪音,得先洗掉。
2026-10-28 11:41:16
321
原创 用 SerpBase 看三种计费模式:订阅、限时、永久包怎么选
同样标着「$1/1k」,一年下来实际成本可能差一倍。差别不在单价,在。市面上主流的 SERP API 计费模式有三种:按月重置的订阅、限期有效的包、以及不设过期时间的预付包。SerpBase 同时提供了后两种(订阅 + 预付),正好拿来把账算清楚。
2026-10-27 14:04:52
220
原创 Serper vs SerpBase:同预算每千次单价与能力对比(2026-10)
Serper 是很多小团队接入 Google 搜索数据的第一站。SerpBase 官网现在直接把自己定位成「SerpApi-Grade, Priced Below Serper」。,以及能力与计费口径的逐项对照。价格数据来自 SerpBase 官网对比表(标注 checked 2026-10-25)与两家官网,实际以下单页为准。
2026-10-27 14:02:58
500
原创 同一个关键词,手机和 PC 的结果差多少?用 SerpBase 做对照实验(附代码)
SerpBase 的网页搜索支持devicemobile(默认)和pc。很多人知道这个参数,但不知道两种布局的结果差多少——做排名监控时,手机和桌面混着用,曲线自然对不上。这篇用 10 个关键词做一次对照实验:同一时刻、同一市场,分别取手机和桌面的前十条,量化重叠度、位次变化和模块差异。
2026-10-26 16:01:28
362
原创 SerpBase 一次搜索能拿到哪些模块?18 个可选字段清单(附代码)
共 18 个可选字段。用一次请求就能清点,1 credit 不因模块多少加价。字段结构与可空性以。
2026-10-26 16:00:35
339
原创 网页结果里的「本地商家包」:用 local_results 统计本地曝光位(附代码)
做本地生意,很多人只盯地图排名。但普通网页搜索结果里还有一块位置——「本地商家包」(Local Pack):搜「上海 咖啡」「深圳 装修公司」,前几条会直接出现商家卡片,带评分、评论数、地址、营业时间。这块位置的曝光价值,和地图排名是两套逻辑。SerpBase 的网页搜索响应里,这块数据在模块里。这篇统计它在哪些词里出现、谁在占位。
2026-10-25 11:58:09
344
原创 SerpBase 的 PAA 题库怎么清洗:去重、聚类、意图标注(附代码)
用「相关问题」()做选题库,是个很顺手的办法:用户真实在问什么,谷歌直接摆在你面前。但真跑几十个关键词就会发现一个问题——:「怎么学 Python」「如何学 Python」「学 Python 的方法」,三条其实是一条。直接堆起来,几百条里一半是重复。这篇把题库清洗成可用的样子:去重、聚类、标意图。
2026-10-25 11:57:30
411
原创 SerpBase 数据能预测吗?Prophet 入门与三条边界
有了几个月的排名和热度数据,自然会想「下个月会怎样」。Prophet 是上手最快的时间序列预测库之一,几十行代码就能出预测曲线。但先说清楚它能干什么、不能干什么——这篇用一个关键词的历史数据跑一次预测,再聊三条边界。
2026-10-22 07:37:43
267
原创 用 SerpBase 搭 Kafka 管道:采集与写入解耦教程(附代码)
采集和写库塞在一个脚本里,最典型的症状是:写库慢,采集就等着;解析一改,整条链路重跑。解法是把两者解耦——采集只往 Kafka 发消息,写库、分析、告警各找各自的消费者。这篇搭一条最小可用的采集管道。
2026-10-19 09:26:40
289
原创 SerpBase 数据入 Elasticsearch:全文检索与聚合(附代码)
快照存进数据库之后,有一类查询会立刻让人难受:「所有提到某个话题的标题和摘要」——关系库里慢且笨,多个词还要拼一堆 OR。这种活是 Elasticsearch 的主场。这篇讲把搜索数据索引进 ES、加字段映射,以及两个最常用的查询。
2026-10-19 09:24:02
194
原创 用 SerpBase 采集任务的 Prometheus 监控实战(附代码)
采集任务跑在服务器上,最尴尬的不是报错,是。写个探活脚本是一档,用 Prometheus + Grafana 做正经监控是另一档:请求速率、错误率、延迟分位、余额、最近成功时间,全在一个看板上,告警规则统一管。这篇讲完整搭建。
2026-10-18 11:45:57
486
原创 SerpBase 数据入 MySQL:批量插入、UPSERT 与索引优化(附代码)
个人项目用 SQLite 够了,但团队协作、多进程写入、服务器部署,MySQL 才是常见选择。这篇讲把搜索数据存进 MySQL 的正确姿势:建表、批量插入、UPSERT(重复跑安全)、索引优化。代码基于pymysql,其他客户端同理。
2026-10-18 11:44:55
314
原创 Java 调用搜索 API 教程:HttpClient + Jackson 实现 SerpBase 请求(附代码)
不想用JsonNode到处path()@JsonIgnoreProperties(ignoreUnknown = true) // 关键:忽略未知字段 public record OrganicResult(Integer rank , String title , String link , String snippet) {
2026-10-17 14:23:12
584
原创 Go 调用搜索 API 教程:标准库实现 SerpBase 接口请求(附代码)
Go 项目里要接搜索数据接口,标准库就够了——net/http,不用引入任何第三方依赖。这篇给一份完整可运行的代码,以及几个 Go 场景下容易踩的点。
2026-10-17 14:22:06
221
原创 eBay 拍卖数据采集教程:用 SerpBase 查商品出价与卖家信息(附代码)
做二手交易、拍卖品监控的朋友,eBay 是绕不开的平台。SerpBase 把 eBay 做成了两个标准端点:搜索拍卖/直购商品、按商品 ID 查详情。这篇讲用法,重点在拍卖数据这个和其他电商不太一样的角度。
2026-10-16 13:32:45
392
原创 用 SerpBase 的 /account/credits 接口做余额监控与低额告警(附代码)
采集中途额度用完,任务白跑一半——这种事经历过一次就长记性了。后来我加了余额监控:定时查账户余额,低于阈值就告警,限时额度快到期就提醒先用。这篇讲端点的用法,这是整个 catalog 里最便宜也最容易被忽略的端点。
2026-10-16 13:31:47
272
原创 TikTok 数据采集教程:用 SerpBase 查帖子与主页数据(附代码)
做出海短视频的朋友想盯竞品:对方最近发了什么、哪条数据好、主页挂什么链接。以前这类需求要么手动刷,要么用第三方 TikTok 工具按月付费。SerpBase 的社媒端点把 TikTok 做成了两个标准接口,这篇讲用法和边界。
2026-10-15 15:39:26
307
原创 网页正文抓取教程:用 SerpBase 的 Web Scrape 端点提正文/HTML(附代码)
以前抓网页正文,我用可读性库自己写提取逻辑——广告、导航、相关推荐去不干净,遇到结构特殊的站点还得写特例。后来换成了 SerpBase 的 Web Scrape 端点:传一个 URL,直接拿回处理好的正文(还支持 HTML、Markdown 格式和选择器)。这篇讲用法和一个真实场景。
2026-10-15 15:36:12
418
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人
RSS订阅