- 博客(68)
- 收藏
- 关注
RSS订阅
原创 有哪些工具软件一旦用了就离不开？
好的工具，让你效率提升一倍，亦或者能够受益终身，或许你现在还没有遇到让你感到特别好用的工具，但是这个黑科技满天飞的时代，总会有一款工具会让你赞不绝口，亦或者是自己动手开发出一款让自己满意的工具，我们一直前行，愿都能成为想要成为的人！
2023-05-18 13:43:38
89092
135
原创 我用一句话搭建了乐有家二手房爬虫 —— 结果如何？
本文实测使用AI驱动的Bright Data Scraper Studio，仅通过自然语言描述需求，即可快速搭建深圳乐有家二手房数据爬虫。工具自动识别页面结构、生成数据Schema，支持多格式导出，运行成功率100%。更关键的是其“自我修复”能力：当模拟网站改版导致爬虫失效时，仅需一句话指令，AI即可自动重写解析逻辑，保持输出结构不变，实现零代码维护，显著提升数据采集效率与稳定性。
2026-10-16 16:27:11
19898
原创 企业如何选择数据采集服务？主流平台对比、避坑指南与选型建议
亮数据（Bright Data）就覆盖代理网络、Web Scraper API、现成数据集和全托管数据采集服务，客户可以自行调用基础设施，也可以根据项目范围将采集器开发、维护、质量验证和数据交付交给服务团队。但产品线较多，代理、API、数据集和托管服务的计费方式、维护责任和交付标准可能不同，采购时不能把它们视为同一个套餐。无需编写任何代码，在 Web Scraper 控制台中选择对应站点的预配置采集模板，输入目标 URL、选择采集模式，即可一键发起采集任务，全程可视化配置，新手也能快速上手验证效果。
2026-09-14 10:08:37
10456
原创 让 Claude Code 帮你写爬虫：2026 年的 “Agent 原生” 数据采集
AI 编程助手（Claude Code、Cursor）写业务代码很顺，但一碰到"去网上抓点数据"就翻车。我自己试过不少次：让 Agent 写个脚本抓技术论坛，它十秒给出，运行要么拿到空 HTML，要么被 Cloudflare 拦在验证码页。好不容易加上 Playwright 跑通了，过两天网站改了个 class 名，脚本静默失效——不报错，只返回 null，等发现的时候数据已经断了好几天。原因很简单：爬虫的难点从来不是写选择器，而是代理池、浏览器指纹、JS 渲染、验证码和 DOM 维护这些底层脏活。
2026-08-24 15:58:47
20061
3
原创 告别繁琐配置！用Bright Data CLI 在终端里完成一切爬虫工作——60 秒极速上手
摘要 Bright Data CLI是一款革命性的网页数据采集工具，将复杂的爬虫基础设施简化为终端命令。它整合了全球4亿+住宅IP代理、自动反爬对抗、动态JS渲染和验证码处理等能力，支持Amazon、LinkedIn等100+网站的结构化数据提取。开发者只需安装Node.js≥20环境，通过npm全局安装@brightdata/cli即可使用。新用户注册可获5000次免费请求额度，通过brightdata init交互配置后，即可用简单命令完成各类数据采集任务。该工具特别适合后端开发、AI工程师和数据分析师
2026-07-09 09:11:10
14018
原创 Codex + 魔珐星云：从代码原型到具身交互终端成品
本文介绍了如何通过"Codex+魔珐星云"技术栈快速实现具身交互数字人应用。传统数字人方案存在高延迟、高成本等问题，而魔珐星云采用参数流架构，通过端侧AI解算实现毫秒级响应。文章以"潮玩小悟空"Demo为例，展示了从大模型调用到本地渲染的完整流程，实现了表情、动作与语音的实时同步。该方案突破了传统视频流方案的限制，为数字人交互提供了轻量化、低成本的落地路径。Demo代码已在Gitee开源，开发者可快速上手体验。
2026-06-30 13:21:48
31764
原创 Bright Data + Coze 实战指南：10分钟搭建 Amazon 竞品监控 Bot（2026）
本文介绍如何利用Bright Data Amazon Dataset API与Coze平台搭建全自动竞品监控系统，实现跨境电商商品价格、评论等数据的实时采集与分析。通过对比Coze原生工具与Bright Data集成方案的差异，文章指出后者在数据质量、反爬能力、稳定性等方面的优势。操作部分详细演示了从注册账号、获取API密钥到配置Coze工作流的完整流程，最终实现竞品数据自动抓取、智能分析及推送功能，帮助跨境团队快速响应市场变化，提升运营效率。
2026-06-15 10:25:06
11769
原创 大模型驱动软件测试》| 软件工程3.0时代，大模型驱动测试实战指南
本书立足软件工程3.0时代，系统讲解大模型在软件测试全生命周期的创新应用，兼具理论深度与实战价值，为测试人员指明职业升级路径，是行业智能化转型的必备参考，获阿里巴巴 、南京大学、华为、南方科技大学、中科院软件所等多位权威专家联袂推荐！北京邮电大学教授、博士生导师，CCF高级会员、软件工程专委会执行委员，国家自然科学基金同行评议专家。3.LLM驱动测试需求分析：探讨如何利用LLM理解产品需求、分解测试需求、界定测试范围、挖掘测试风险，同时介绍如何生成测试项、验收标准和测试计划，提高需求分析的效率和质量。
2026-05-27 13:04:19
12857
原创 TikTok Web Scraping 教程（2026）：使用 Bright Data + AI Agent 自动采集数据
通过本教程，你学会了如何利用 Claude Skills 和 Bright Data MCP，在不写一行 Python 代码的情况下，搭建起一套稳定的 TikTok 数据采集流水线。免反爬：Bright Data 处理所有封禁问题。结构化：Claude 直接把脏数据变成报表。可复用：这个 Skill 模板可以直接用于 Instagram 或其他平台。👉 免费注册 Bright Data，用这个连结注册输入折扣码可以有20美金的试用，折扣码是fei20。
2026-05-12 10:19:27
22624
原创 Bright Data Web Scraping 实战：用 MCP + Dify 构建 Amazon 数据采集 AI 工作流（2026 指南）
文章摘要： 本文分享了如何利用Bright Data MCP与Dify搭建稳定高效的Amazon商品数据采集方案。作者从最初手动抓取遇到的动态渲染、反爬限制等问题出发，提出通过Bright Data的Web Scraper API解决采集稳定性难题，配合Dify工作流实现自动化解析与结构化输出。该方案支持输入商品URL即可获取标题、价格、评分等标准化JSON数据，相比传统爬虫节省90%维护成本，且提供20美元试用额度（折扣码fei20）。文末附可一键导入的Dify工作流模板，帮助用户快速实现商品监控、竞品分
2026-04-16 11:21:38
9840
3
原创 先发制人：用 Bright Data 抢先捕捉 TikTok 爆款内容（附实战案例）
在 TikTok 这个以“速度”和“趋势”为王的战场上，晚一步意味着错失百万流量。当你的竞争对手还在手动浏览推荐页（For You Page）时，聪明的营销团队已经通过数据驱动的策略，提前锁定了下一个病毒式传播的题材。想在对手之前发现有效内容，关键是建立一套可自动运行的抓取与分析系统。本文基于 Bright Data TikTok 抓取器，演示如何实现：自动抓取 → 统计筛选 → AI 洞察 → 写入 Google Sheets 的全流程。爬虫不是目的，数据才是资产；自动化不是终点，创造才是意义。
2026-03-12 21:09:07
20652
4
原创 2026年10大网络爬虫工具终极对比评测：从Scrapy到Bright Data，谁真正扛得住企业级挑战？
无代码：使用预置模板（如 Amazon、Google Maps）低代码：通过 JavaScript 自定义提取逻辑全代码：集成到现有数据管道（Airflow、Lambda 等）灵活性最高，但需从零构建所有功能。几乎无法处理条件跳转、登录验证等复杂流程。Bright Data 优势灵活度媲美代码工具，易用性接近无代码平台。对比对象Bright Data 优势vs Scrapy无需管理服务器、代理池、IP轮换，节省80%运维时间内置智能解封，自动处理CAPTCHA、指纹识别，无需写绕过逻辑。
2026-01-07 15:59:42
37028
原创 Bright Data AI Scraper Studio：用一句Prompt，自动生成企业级爬虫架构
作为长期深耕数据工程和AI基础设施的技术博主，我接触过市面上几乎所有的爬虫工具，坦白说，大多数工具要么门槛太高（需要写大量选择器和反反爬逻辑），要么灵活性太差（模板固定，一遇改版就废），更别提维护成本：一个网站结构变动，整个管道就得重写。直到最近深度试用 Bright Data 全新推出的 AI Scraper Studio，我才真正看到“AI驱动数据采集”的落地可能。它不是“低代码玩具”，而是真正将大模型能力注入企业级数据管道的革命性工具——在这里，数据采集不再是“写代码”，而是“说需求”。
2025-12-08 11:42:53
17647
原创 魔珐星云实战：为独居老人打造“会说话的吃药小助手”，30行代码实现有温度的AI陪护
魔珐星云不仅是一个数字人平台，更是具身智能（Embodied AI）的基础设施。它通过文生3D多模态动作大模型 + AI端渲和解算架构，真正打破了质量、成本、延时的“不可能三角”，让每一个开发者都能快速构建有身体、有情感、能交互的AI智能体。你以为它只是一个吃药提醒员？其实这只是开始——教育、医疗、金融、陪伴、客服……任何需要“人性化交互”的场景，都值得被具身智能重新定义。如果你也有相关需求或是想上手体验一下，不妨现现在就行动，前往魔珐星云官网（https://xingyun3d.com?
2025-12-02 14:16:21
14008
原创 100% AI 写的开源项目三周多已获得 800 star 了
https://github.com/fullstackagent/fulling 项目本身功能是一个集成了 next.js shadcn/ui 底层默认 pgsql 数据库 和 claude code 的一个编程工具，运行在 kubernetes 上，简单来说就是点个按钮直接开始梭哈 claude code, 其他事情 agent 都帮你干了。感觉是个比 supabase 更简单更灵活的方案，因为我不需要按照 supabase 的 SDK 写代码了。
2025-11-27 09:21:15
7828
原创 Qoder 降价，立即生效！首购 2 美金/月
Qoder CLI：开箱即用的智能终端上个月，Qoder CLI 正式发布，让开发者通过自然语言在终端完成代码生成、调试、部署等任务，实现随处集成，效果不打折。除了极具吸引力的价格，Qoder 在功能上也实现了全面进化：首先，Qoder 集成了全球顶尖的编程模型，并新上线模型分级选择器，提供四类高性能模型池：基础轻量（Lite）、经济高效（Efficient）、极致性能（Performance）与智能路由（Auto），不同任务由最适合的模型无缝切换执行，开发者无需理解模型差异，从而减少认知负担并提升效率。
2025-11-12 14:43:01
6029
原创 《Spatial Joy 2025 全球 AR&AI 赛事：开发者要的资源、玩法、避坑攻略都在这》
Spatial Joy 2025 Rokid乐奇 全球 AR&AI 开发大赛 值不值得参加？不少参加过连续两届 Rokid乐奇 赛事的老兵，纷纷表示非常值得参加。
2025-11-06 16:19:26
11164
原创 2025年程序员接单怎么开始？从平台选择到避坑经验全解析
今天这篇文章，就带你系统了解程序员接单的思路：该注意什么、去哪接单、哪些平台靠谱、哪些要避坑。看完你会清楚地知道——如何真正把程序员接单变成一个长期、可持续的收入渠道。
2025-11-05 12:00:00
12141
1
原创 “企业级AI Agent落地方案：用Bright Data快速建立消费电子舆情数据采集与智能分析“
AI舆情监控系统构建实战：基于Bright Data的小米17新品分析案例 本文通过"小米17"新品发布舆情监控案例，揭示如何利用Bright Data企业级数据平台高效构建AI分析系统的完整流程。针对传统自建爬虫面临的IP封禁、规模化瓶颈和数据异构性三大痛点，Bright Data提供了即开即用的解决方案： 稳定采集：全球代理网络规避反爬限制，确保高成功率 多模态整合：一站式获取视频、评论、文本等多元数据 自动化处理：通过API实现任务调度、数据清洗与集成 实战演示了从注册配置到数据采
2025-11-03 10:36:46
15912
6
原创 Qoder上线提示词增强功能，将开发者从“提示词”的负担中解放出来
在 Agentic Coding 时代，我们常常面临一个核心痛点：想要获得顶尖的回答，你必须先提出一个顶尖的问题。 对于开发者而言，这意味着需要花费大量精力去构思、打磨给AI的“提示词”。一个模糊的指令，如“帮我写个函数”，可能会得到一段过于简单甚至不安全的代码；而一个详尽、结构清晰的提示词，则能直接生成生产环境级别的、考虑周全的解决方案。
2025-10-14 16:09:23
11458
原创 python+亮数据Web Scraper API，全自动构建“每日科技精选”YouTube聚合站
摘要：本文介绍如何利用亮数据(Bright Data)的Web Scraper API构建"每日科技精选"YouTube视频聚合平台。相比传统API的配额限制和自建爬虫的技术壁垒，亮数据方案提供稳定高效的内容采集。通过Python代码示例，演示了从配置搜索参数（关键词/时长/类型等）、调用API获取数据快照，到清洗关键字段（视频ID/标题/播放量/频道信息等）的全流程。该方法支持自动化调度、动态关键词调整和深度数据分析，适合开发企业级内容聚合系统。（
2025-10-03 13:21:24
29426
原创 大语言模型的微调策略
尽管大语言模型展示出强大的能力，但在特定任务领域，它们往往无法达到最佳效果。通过微调，可以将特定领域的数据集输入模型中，使模型学习该领域的知识，从而优化自身在特定领域的 NLP 任务中的表现，如情感分析、实体识别、文本分类和对话生成等。本文章讲大语言模型的微调策略及基于 ChatGPT 的微调。
2025-09-18 13:08:15
7327
原创 超级爬虫助手！无脑抓取各大平台海量数据，附干货教程
在如今的数据驱动时代，数据获取已成为各类应用和分析的核心组成部分。无论是股市行情、社交媒体动态，还是AI模型训练，都离不开大量数据的支持。从我个人的经验来看，数据采集无疑是其中最具挑战的一环。我曾尝试分析评论情感倾向在不同时段、不同事件或话题下的变化趋势，并探究情感波动的背后原因。为了完成这一任务，我需要收集超过100万条的数据，而其中最难的部分无疑是编码部分——需要处理各种复杂情况并应对反爬机制。今天，我们来聊一聊如何使用API进行数据采集。即使是零代码基础的伙伴，也能轻松上手哦！
2025-05-06 09:24:27
28429
5
原创 「爬虫实战分享：如何高效爬取某汽车官方销售排行榜」
在互联网数据爬取过程中，代理IP已成为爬虫技术中不可或缺的工具。代理IP通过替代爬虫的真实IP地址，使得爬虫能够绕过网站的访问限制，如IP封禁、访问频率限制等。随着反爬虫技术日益复杂，代理IP为爬虫提供了更高的灵活性、隐私保护和稳定性。因此，合理使用代理IP，成为开发高效爬虫程序的关键。代理IP对爬虫来说是不可或缺的，但在使用时必须遵守相关法律法规和目标网站的规定，严禁从事非法活动或滥用代理IP服务。
2025-02-25 08:55:26
16673
11
原创 OnlyOffice：释放无限创意，打造高效协作新体验
随着数字化时代的快速发展，企业和团队对高效协作工具的需求日益增长。在这个背景下，OnlyOffice作为一款功能强大的在线协作办公套件，已经成为了许多企业和团队的得力助手。而今天，我们要为大家介绍的OnlyOffice开发者版本，更是将这款工具的功能推向了新的高度。ONLYOFFICE开发者版本是一套强大的文档处理套件，专为软件开发者设计，提供了丰富的功能和工具，以便开发者将ONLYOFFICE集成到自己的应用程序中，实现高效的在线文档编辑和协作。
2024-02-06 13:23:58
18461
28
原创 一文吃透Spring集成MyBatis
spring能集成很多的框架，是spring一个优势功能。通过集成功能，让开发人员使用其他框架更方便。集成使用的是spring ioc 核心技术。使用mybatis，需要创mybatis框架中的某些对象，使用这些对象，就能使用mybatis提供的功能了。分析: mybatis执行sql语句，需要使用那些对象? 1. 需要有Dao接口的代理对象，例如StudentDao接口,需要一个它的代理对象，使用 SqlSession.getMapper(StudentDao.class)，得到dao代理对象。
2023-05-25 08:30:00
9539
178
原创 【Spring】一文带你吃透AOP面向切面编程技术(下篇)
AOP技术思想的实现:使用框架实现AOP。实现AOP的框架有很多。有名的两个1. Spring：Spring框架实现AOP思想中的部分功能。Spring框架实现AOP的操作比较繁琐，笨重。2. Aspectj：独立的框架，专门做AOp的，功能最强大的。属于Eclipse。而我下面主要介绍的就是Aspectj框架来实现Aop，Aspectj框架可以使用注解和xml配置文件两种方式实现AOP。System . out . println("前置通知，在目标方法之前先执行的");
2023-02-15 09:30:00
11978
155
原创 【Spring】一文带你吃透AOP面向切面编程技术(上篇)
什么是AOP？AOP（Aspect Orient Programming）：面向切面编程。Aspect：表示切面，给业务方法增加的功能，叫做切面。切面一般都是非业务功能，而且切面功能一般都是可以复用的。例如日志功能，事务功能，权限检查，参数检查，统计信息等等。Orient：面向，对着Programming：编程。怎么理解面向切面编程？以切面为核心设计开发你的应用。1）设计项目时，找出切面的功能。2）安排切面的执行时间，执行的位置。AOP作用 ：1. 让切面功能复用。2. 让开发人员专注业务逻辑....
2022-11-30 08:45:00
23101
223
原创 【Spring】一文带你吃透基于XML的DI技术
DI：给属性赋值。DI分类：①set注入，也叫做设值注入；②构造注入。在xml配置文件中使用标签和属性，完成对象创建，属性赋值。①set注入，也叫做设值注入。概念：spring调用类中的set方法，在set方法中可以完成属性赋值。推荐使用。②构造注入构造注入：spring调用类中的有参数构造方法，在创建对象的同时，给属性赋值。首先我们创建一个类，生成get、set和toString方法。注意：使用Set注入，必须要有Set方法.........
2022-11-09 08:45:00
12443
275
原创 【Spring】一文带你吃透基于注解的DI技术
基于注解的DI:使用spring提供的注解，完成java对象创建，属性赋值。注解使用的核心步骤:1.在源代码加入注解，例如@Component。2.在spring的配置文件，加入组件扫描器的标签。@Component注解创建对象@Component: 表示创建对象，对象放到容器中。 作用：属性：value ，表示对象名称，也就是bean的id属性值。位置：在类的上面，表示创建此类的对象。component-scan:翻译过来是组件扫描器，组件是java对象.......
2022-10-26 09:15:00
24127
253
原创 【Spring】一文带你吃透IOC技术
loC，Inversion ofControl:控制反转，是一个理论，一个指导思想。指导开发人员如何使用对象，管理对象的。把对象的创建，属性赋值，对象的声明周期都交给代码之外的容器管理。loC分为控制和反转 ●控制:对象创建，属性赋值，对象声明周期管理。 ●反转:把开发人员管理对象的权限转移给了代码之外的容器实现。由容器完成对象的管理。 ●正转:开发人员在代码中，使用new构造方法创建对象。开发人员掌握了对象的创建，属性赋值，对象从开始到销毁的全部过程。开发人员有对对象全部控制。通过容器....
2022-10-22 08:30:00
9404
237
原创 PyCharm中文版（无需汉化包，一键设置）
PyCharm怎么设置成中文？首先点击左上角的File-Settings 进入设置，进入Settings后点击Plugins，然后点击Marketplace，然后在搜索框输入Chinese language pack，注意是图标带有汉的那一个。点击install安装插件...
2022-10-20 19:04:13
30235
55
原创 带你吃透Servlet技术（二）
继承HttpServlet实现Servlet程序一般在实际项目开发中，都是使用继承 HttpServlet 类的方式去实现Servlet 程序。1、编写一个类去继承 HttpServlet 类。2、根据业务需要重写 doGet 或 doPost 方法。3、到 web.xml 中的配置 Servlet 程序的访问地址。自动生成doGet和doPost方法，如果每次都手动的写这些方法，肯定是挺浪费时间的，那么有没有什么方式可以自动的把这些方法生成呢，当然有，首先我们调出Generate窗口，快捷键是Alt+
2022-10-18 13:01:14
5596
200
原创 带你吃透Servlet技术（一）
1、Servlet是JavaEE规范之一。规范就是接口2、Servlet就JavaWeb三大组件之一。Servlet程序、Filter 过滤器、Listener 监听器。3、Servlet是运行在服务器上的一个java小程序，它可以接收客户端发送过来的请求，并响应数据给客户端。1、编写一个类去实现 Servlet 接口。2、实现 service 方法，处理请求，并响应数据。3、到 web.xml 中去配置 servlet 程序的访问地址。
2022-10-12 18:51:19
4021
138
原创 jsp九大内置对象和四大域对象
request对象:请求对象，可以获取请求信息。response对象: 响应对象。可以设置响应信息。pageContext对象: 当前页面上下文对象。可以在当前上下文保存属性信息session对象: 会话对象。可以获取会话信息。exception对象: 异常对象只有在 jsp 页面的 page 指令中设置 isErrorPage=“true” 的时候才会存在。application对象: ServletContext 对象实例，可以获取整个工程的一些信息。config对象: Servlet........
2022-10-11 15:28:01
1574
44
原创 Git使用方法核心概念
什么是分支？在版本控制过程中，同时推进多个任务，为每个任务，我们就可以创建每个任务的单独分支。使用分支意味着程序员可以把自己的工作从开发主线上分离开来，开发自己分支的时候，不会影响主线分支的运行。对于初学者而言，分支可以简单理解为副本，一个分支就是一个单独的副本。(分支底层其实也是指针的引用)。分支的好处：同时并行推进多个功能开发，提高开发效率。各个分支在开发过程中，如果某一个分支开发失败，不会对其他分支有任何影响。失败的分支删除重新开始即可。
2022-10-10 07:37:41
3007
165
原创 项目文件树添加备注信息 idea国产开源插件 TreeInfotip
你是否因为idea的项目文件树的目录文件太多而感到头大，每个目录文件都不能直白的看到是什么意思，例如如下图，打开后一大堆英文目录文件，如果认识还好，如果不认识，或者是长时间没有打开这个项目，忘的也差不多了，再次打开一切都陌生了，简直是头都大了。如果能给每个目录或者文件添加备注信息，那么下次再次打开一眼就能看出每个目录的作用，那么会不会让你轻松一点呢。如果上面说的是你，那么今天介绍的插件绝对适合你。今天介绍的是一款名为的国产免费idea插件，它可以给idea中的项目文件树添加备注，也可以给目录文件。
2022-10-09 19:13:14
25685
24
原创 JSTL标签库核心概念
JSTL标签库全称是指 JSP Standard Tag Library JSP 标准标签库。是一个不断完善的开放源代码的 JSP 标签库。EL表达式主要是为了替换 jsp 中的表达式脚本，而标签库则是为了替换代码脚本。这样使得整个 jsp 页面变得更佳简洁。JSTL 由五个不同功能的标签库组成,在 jsp 标签库中使用 taglib 指令引入标签库。
2022-10-09 11:28:35
2409
51
原创 IDEA美化主题插件Xcode Dark theme & Material Theme UI插件保姆级教程
这款插件是我目前使用的IDEA美化主题插件，非常的简洁美观，没有一些花里胡哨的东西，符合简约的风格，主题颜色是深色，对于长期看屏幕写代码，还是比较养眼的。如果想让你的IDEA主题更加的炫酷，更加的花里胡哨，那么下面这款插件绝对适合你，它就是Material Theme UI 这个插件，它不仅有多种颜色的主题，甚至连图标，选项卡等，都进行了美化，下面我们来详细介绍一下这款此插件。
2022-10-08 18:35:04
27490
30
有哪些工具软件一旦用了就离不开？这篇文章对应的工具
2023-05-22
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人