告别手动！n8n+Bright Data MCP 实现 LinkedIn 职位信息自动化采集

最新推荐文章于 2025-10-29 11:39:28 发布
原创 最新推荐文章于 2025-10-29 11:39:28 发布 · 3.4w 阅读 · 27 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#自动化 #服务器 #数据库

1.前言

在这里插入图片描述

在当今竞争激烈的就业市场中，及时获取最新的职位信息对于求职者和企业招聘都至关重要。LinkedIn 作为全球最大的职业社交平台，每天都有大量的职位信息更新。然而，手动抓取这些信息不仅效率低下，还可能错过重要的机会。因此，实现每小时自动抓取 LinkedIn 职位信息的自动化流程就显得尤为必要。本文将介绍如何利用 n8n 和 Bright Data MCP 工具来搭建这一自动化流程

2.Bright Data MCP 强大的地方

在这里插入图片描述

MCP 介绍：AI圈中的MCP是什么？

简单来说，MCP 就是网页与工具之间的转化器，方便形成工作流

  • 代理网络强： 拥有全球大量的住宅、数据中心和移动 IP，能轻松绕过 LinkedIn 等平台的反爬限制，让数据抓取持续稳定进行
  • 合规又安全： 严格遵守全球数据隐私法规（如 GDPR），从数据抓取到存储全程合规，有效保护用户数据和隐私安全
  • 数据管理方便： 提供完善的存储和管理功能，能快速对存储的职位信息进行查询、筛选和导出，方便后续分析使用
  • 可灵活扩展： 随着数据量增加和需求变化，能轻松扩大存储容量和代理资源，满足不同规模自动化流程的需求

除此之外，免维护代理池、自动解锁、自动处理 JavaScript 渲染，支持多种模式（Rapid、Pro），可通过 URL 参数控制行为（如 unlocker、browser、pro=1），支持 Claude、Cursor、LangChain、n8n 等主流工具集成。这些都是 Bright Data MCP 的优点

拥有两种部署方式：

  1. 远程（托管）MCP：Bright Data 云端托管，无需自行搭建。远程 MCP 快速入门
  2. 本地（自托管）MCP：您可以在本地或私有云环境中部署。本地 MCP 快速入门

3. MCP + n8n 自动化流程 - 快速入门图文教程

3.1 前提准备

3.1.1 Bright Data 注册账号

在这里插入图片描述

传送门：亮数据

在这里插入图片描述

点开链接后，有个立即开始，点击他，自动弹出注册弹窗，填写信息注册一个 Bright Data 帐户（注册→ 2 分钟）

🔥注意： 亮数据平台对登录有要求限制

  • 在亮数据的中文网站上注册 bright.cn
  • 在自己的电脑上操作，而非手机上
  • 关闭 VPN
  • 关闭局域网

实在还无法解决的可以查看官方登录解决文档

3.1.2 Bright Data API获取

在这里插入图片描述

API密钥获取

点击链接进入 API 密钥获取界面，可能会弹出让你再次登录的界面，登陆即可

单击 API 密钥部分右上角的添加 API 密钥按钮

在这里插入图片描述

配置您的用户、权限和 API 密钥到期日期（或“无限制”），然后单击保存

在这里插入图片描述

然后就会的得到 API 密钥，将其复制下来保存好，后面会用到

🔥注意： 生成 API 密钥后，确保将其保存到本地安全位置，因为它只会显示一次！

3.1.3 本地部署n8n（可跳过）

3.1.3.1 docker环境准备

在这里插入图片描述

传送门：docker官网

打开官网主页后，如图选择对应的电脑版本，一般 Windows 都选的是 AMD64，后续跟正常下载安装软件一样就行，可能会要安装子系统，跟着操作来就行了

在这里插入图片描述

打开软件来到这个页面后进行注册

在这里插入图片描述

推荐谷歌和 github，qq 邮箱也可以有点小麻烦

在这里插入图片描述

登录之后，在设置里将存储路径修改一下，放在除 C 盘外空闲的硬盘里即可

3.1.3.2 n8n工作流本地部署

在这里插入图片描述

在 Docker Hub 搜索 n8n 找到对应的部署

在这里插入图片描述

选择 latest 最新版本进行 Pull 镜像，等待下载完成

在这里插入图片描述

传送门：n8n官网

点击这个 github 图标跳转到源代码处获取部署的代码

在这里插入图片描述

往下滑找到这里的代码并复制

在这里插入图片描述

回到 Images 这里等待下载完成后，点击运行

在这里插入图片描述

按照如图所示填写完成之后，点击 Run

在这里插入图片描述

出现这个网址就部署就成功了，点击进去进行 n8n 的账号注册即可

在这里插入图片描述

3.1.4 网页使用n8n（快捷）

在这里插入图片描述

传送门：n8n官网

点击 Get started 并注册账户就能获得 14 天免费试用，足够满足刚开始的需求，但是还想使用的话最好还是本地部署

在这里插入图片描述

3.2 Bright Data 对于 Linkedin 职位的数据收集

在这里插入图片描述

回到 Bright Data 的操作页面，在 Web Scrapers 处搜索 linkedin，选择第一个

在这里插入图片描述

选择 LinkedIn people profiles - collect by URL 收集数据

在这里插入图片描述

选择第一个爬虫 API

在这里插入图片描述

在 Overview 部分划到最下面的 Dictionary，可以查看职位数据收集的相关信息，如果还有想要添加的可以点击下面的 Request a new one

在这里插入图片描述

点击 API request builder 部分，在 Trigger Data Collection API 这里添加你想收集数据
的 Linkedin 职位公司页面，注意是有数量限制的，具体以实际为准

在这里插入图片描述

点击 Management APIs 部分，在 Delivery options 进行配送选项的配置

  • Download snapshot：数据临时存储下载
  • Deliver to storage：发送到阿里，谷歌的等云存储

文件格式我这里是 JSON，一般这个就行了，具体以实际需求为准

在这里插入图片描述

回到 API request builder 部分，复制右边配置好的命令行代码，选择 Windows CMD 进行本地运行

在这里插入图片描述

win + R 调出命令窗口，输入 cmd，打开命令行交互界面后粘贴刚才复制的命令行代码

🔥注意：

-H "Authorization: Bearer 你的API密钥"

Bearer 后面需要填写你刚才配置好的 API 密钥

在这里插入图片描述

ENTER 键运行后，显示出 snapshot_id 字样，说明数据已经抓取成功并临时存储了，复制这一串 id 保存起来

在这里插入图片描述

回到 Management APIs 部分，在 Delivery options 的 Snapshot ID 这里填入刚刚获取到的id

在这里插入图片描述

复制该页面右边的命令行代码，等待 1 分钟数据集快照处理，按上面的方法再次运行

在这里插入图片描述

下面生成的一大堆数据集就是网页上爬取下来的职位示例信息，是不是操作很简单呢？想要可视化的数据的话可以让 AI 帮你整理

以上是简便的数据收集方法，如果需要频繁大量调用的话建议还是使用 python，方法和上面都是一样的，这里不再过多赘述

但是每次都要手动处理确实是麻烦，所以我们利用 n8n自动化工作流，实现定时自动收集

3.3 开始 Bright Data MCP + n8n 工作流创建

在这里插入图片描述

首先进行 Bright Data MCP 节点配置

在这里插入图片描述

点击设置

在这里插入图片描述

开启 n8n 社区节点，右下角 Sava changes 保存设置

在这里插入图片描述

然后 Create Workflow 创建一个工作流项目

在这里插入图片描述

Add first step 并搜索 BrightData，能显示就说明已经支持社区节点了

在这里插入图片描述

首先点击 Add first step 添加一个 On a schedule 的开始出发节点，这是个时间触发节点

在这里插入图片描述

设置为早上八点自动发送，Execute step 创建

在这里插入图片描述

接着点击 + 并搜索 http，增加一个网络请求节点

在这里插入图片描述

回到复制亮数据获取关于 Snapshot_ID 的代码

在这里插入图片描述

把这串代码放到 Import cURL，他会自动截取出来需要的部分

在这里插入图片描述

然后我们搜索并添加 Wait 节点，设置为 1 分钟，因为有时候可能收集数据过多，会导致传出空值而错乱

在这里插入图片描述

再次回到亮数据复制下载代码

在这里插入图片描述

我们再创建一个网络请求节点，把这串代码放到 Import cURL，他会自动截取出来需要的部分

在这里插入图片描述

随后添加一个 Limit 筛选输出的数据为 100 个，避免数据过多

在这里插入图片描述

最后工作流如图所示，点击 Execute workflow 执行

在这里插入图片描述

回到 Bright Data 处查看日志，自动下载成功了，Bright Data 的爬取搭配上 n8n 自动化确实是很方便，主要还是得益于 Bright Data 的快速安全爬取

如果还有 AI 整理，群发等要求，可以在 n8n 中进行节点配置

4.总结

Bright Data MCP 抓取数据的过程不需要自己手动写代码，它帮助我们完成了在云上向 Linkedin 发出 http 数据请求；模拟登陆、配置 IP 代理、动态访问、识别验证码、破解加密数据等 ；解析获取的 HTML，提取重要的字段，输出为 json 格式的过程。

相较于自己动手写代码爬虫，还需要不断调试的麻烦，这种一键抓取的方式大大降低了上手的门槛，零基础小白也能轻松使用！但配上 n8n 自动化更是画龙点睛

注册即享免费额度，快来立即注册并免费试用 Bright Data MCP 吧！( •̀ ω •́ )✧

传送门：https://get.brightdata.com/w-mcpserver

小红书自动化运营：智能体+RPA自动化+MCP实现采集仿写和自动发布
互联网架构师笔记
10-03 913
通过Coze（扣子）飞书多维表格和小红书MCP的组合，你可以构建一个强大且灵活的小红书自动化运营系统。这套系统不仅能极大提升内容生产和分发的效率，还能通过数据驱动的方式优化内容策略。自动化工具的目的并非取代人的创意，而是将创作者从重复劳动中解放出来，让他们更专注于内容本身的价值和与粉丝的互动。希望本教程能帮助你高效运营小红书，抓住AI内容创作的新机遇！
n8n mcp：轻松管理你的自动化工作流！
m0_53117338的博客
07-20 1514
n8n mcp：轻松管理你的自动化工作流！
n8n网页抓取自动化完整指南
SmartGarret的博客
10-24 1547
如果您已厌倦为了获取网页数据而勉强拼凑复杂脚本，那么本n8n网页抓取教程正适合您。您将了解如何使用n8n进行网页抓取、为何它优于自制抓取工具，以及入门所需知识。特别适合希望无痛实现数据提取自动化的开发人员和编程初学者。n8n是一款开源工作流自动化平台，旨在无需过多定制编码即可连接应用程序、API和数据库。它通过可视化界面构建工作流，让自动化流程的设计、监控和扩展变得更加简单。凭借数百个内置集成功能，n8n可简化网页抓取、数据转换和通知等复杂流程，使团队能专注于数据洞察而非基础设施。
垂直领域AI智能体开发指南：用Bright Data MCP接入智能体攻克数据难关
weixin_50804299的博客
07-02 2万+
企业级AI智能体已超越概念验证阶段，正以前所未有的深度和广度融入核心业务运营，重塑工作流、优化决策并创造全新价值。AI智能体的发展呈现出显著的共性：任务处理从自动化向认知化跃迁，交互方式从单一指令向自然对话演进，角色定位从效率工具升级为具备一定自主性的“数字同事”或“业务伙伴”。 其核心价值正从“节省成本”转向“创造价值”（如提升人才质量、增加销售、优化投资决策、降低风险损失）。未来，智能体间的协作（Agentic Workflow）、更强大的情境理解与推理能力、以及安全可信赖的决策支持，将是持续突破的关键
【AI本地知识库+智能体】无需编程！用n8n实现数据采集到智能生成的全自动化！
最新发布
m0_65555479的博客
10-29 1350
文章介绍如何使用开源AI工作流平台n8n结合WeKnora知识库构建全本地化AI应用闭环。通过Docker部署n8n，实现数据自动采集、处理、存储到智能分析的全流程自动化。作为可视化工作流平台，n8n支持多种API连接和AI模型调用，无需编程即可构建复杂逻辑。与WeKnora配合，打造从知识采集到智能生成的"AI私有工厂"，实现完全本地化闭环，保护数据安全并降低云端依赖。
Bright Data MCP：突破AI数据获取限制的革命性工具
jennycisp的博客
10-05 901
不仅是一款技术产品，更代表着数据获取领域的革命性飞跃。作为Bright Data团队智慧的结晶，这一模型上下文协议服务器突破了传统网络数据采集的限制，为人工智能时代的信息获取开辟了全新道路。尽管市场上存在多种MCP服务，Bright Data MCP凭借其独特优势脱颖而出：它能实时获取网络数据，巧妙绕过地理限制，有效突破网站反爬虫机制，同时支持浏览器自动化和系统无缝集成，确保数据的安全性与可靠性。使用建议与限制说明前 3 个月免费额度为每月 5,000 次请求，适合开发测试与轻量级应用。
Bright Data MCP - 增强AI代理的实时网络数据能力
AI工程化、开源分享、文档翻译、代码笔记
09-29 531
一、关于 Bright Data MCP 1、项目概览 2、相关链接资源 3、功能特性 二、安装配置 三、快速开始 1、Claude Desktop集成配置 2、账户设置 四、安全实践 五、故障排查 1、工具超时 2、npx命令错误 其它 演示资源
基于 Bright Data MCP + LangChain 构建实时网页问答 AI Agent：完整实战教程
池央的博客
08-24 3万+
本文介绍了如何通过 Bright Data MCP 与 LangChain 构建一个具备实时网页搜索与问答能力的 AI Agent。通过集成 MCP 协议、LangChain ReAct Agent 和 DeepSeek 大模型，开发者可以快速搭建一个支持实时信息抓取、Markdown 格式解析、自然语言问答和美观 Web 界面的智能体系统，解决大模型无法访问实时网页数据的问题。文章提供了完整的部署流程、代码示例和前端界面，适合有实际开发需求的 AI 工程师参考。
brightdata-mcp：实时网页数据增强AI能力
gitblog_00571的博客
05-13 1005
brightdata-mcp是一款强大的开源项目，致力于为AI Agent提供实时网页数据访问、发现和提取的能力。该项目通过Model Context Protocol（MCP）服务器，使得诸如Claude Desktop、Cursor、Windsurf等MCP客户端能够无缝地搜索网页、导航网站、执行操作并检索数据，同时避免被网站封禁。 ## 项目技术分析 brightdata-mcp的核心技...
用n8n+FastGPT+MCP打造智能RAG工作流，一键发布到公网！
分享平时的学习心得和笔记
05-07 974
n8n是一个开源的工作流自动化平台，通过可视化界面连接不同应用和服务，实现数据自动化处理。通过n8n+FastGPT+MCP的组合，开发者可快速构建智能RAG应用，覆盖客服、数据分析等场景。6. AI处理：添加“AI Agent”节点，配置FastGPT的MCP服务端地址和API密钥。A：FastGPT支持HTTPS加密，n8n可配置OAuth2认证，敏感数据本地处理。A：是的，通过MCP-Proxy聚合多个服务端，实现多源数据协同检索。二、FastGPT是什么？三、MCP协议：AI与工具的“万能插座”
手把手教你用n8n+crawl4ai：网站抓取+RAG+MCP自动化教程
2401_85154887的博客
08-12 1976
一个完全自动化的 RAG (检索增强生成) 数据知识库构建工作流。
精选资源
n8n-nodes-mcp-AI人工智能资源
04-02
n8n是一个开源的基于节点的工作流程自动化工具，它允许用户创建复杂的自动化任务，这些任务可以连接不同的应用程序和服务。"n8n-nodes-mcp-AI人工智能资源"这一标题意味着当前文件集合与n8n有关，并且特定地集中在AI...
【MCP探索实践】Bright Data MCP：实时、安全、智能，网络数据抓取的三剑客来袭
寻道AI，探索AI无限可能！
08-15 3564
Bright Data MCP 是一款由 Bright Data 团队开发的开源项目，它是一个强大的模型上下文协议（MCP）服务器，专为公共网络访问设计。该工具能够让大型语言模型（LLMs）、agents 和应用程序实时访问、发现和提取网络数据，有效绕过地理限制和网站的反爬虫机制。
Bright Data亮数据 MCP + N8N x AI 新闻编辑：基于亮数据，数据采集到观点摘要工作流自动化实践
wei_shuo的博客
06-25 3万+
「Bright Data亮数据」Bright Data MCP + N8N x AI 新闻编辑：基于亮数据，数据采集到观点摘要工作流自动化实践
打造属于你的AI智能体，从数据开始 —— 使用 Bright Data MCP+Trae快速构建垂直智能体
热门推荐
全网粉丝10w+，优快云、稀土掘金人工智能签约作者、专家博主，华为云十佳博主，985人工智能硕士。人工智能、大模型、计算机视觉、Python 爬虫— —商务合作：https://bbs.youkuaiyun.com/topics/614347534
06-25 8万+
但是最近我发现了一个十分好用的助手–Bright Data MCP，它提供了"即插即用"的结构化数据接口，让我们可以专注于业务逻辑，而不用为数据采集头疼。
【Dify + Bright Data MCP】：零代码构建AI社媒分析师，自动采集YouTube/TikTok/Instagram数据并生成商业洞察
HJS123456780的博客
10-05 1893
过去，AI只能读百科、背论文、写摘要。看懂TikTok上一个普通用户发布的AI口播视频，为何爆了3万播放；读懂评论区里那句“多少钱？”背后隐藏的千万级商机；发现“国产”二字在用户心中的信任溢价；提前两周预测下一个爆款标签。数据流动，AI才开始思考；AI思考，商业才能爆发。加入全球数千名AI开发者正在使用的Bright Data生态，共建下一代智能数据基础设施。“睁开眼睛看世界”。
n8n + 飞书多维表格定时采集新闻：从部署到开发保姆级教程
apo0625的博客
06-26 2355
学完本文你将收获： 1、n8n 本地部署 2、按关键字获取新闻的方法 3、n8n 非官方外挂的获取方法 4、飞书多维表格自动化的用法 5、一个完整自动化的工作流
用 n8n 提取静态网页内容：从 HTTP Request 到 HTML 节点全解析
muyouking
06-05 3844
本文介绍了如何使用n8n的HTTP Request和HTML节点组合提取静态网页内容。首先通过HTTP Request节点获取网页HTML源码，然后使用HTML节点解析并提取所需数据。关键点包括：1）HTTP Request节点设置URL和GET方法；2）HTML节点配置Source Data为JSON并指定data字段；3）重点掌握Extraction Values参数，特别是CSS选择器（使用.和#定位元素）、Key命名、Return Value类型选择等。文章通过实例演示了标题和正文的提取方法，并提供
评论 8
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值