- 博客(71)
- 收藏
- 关注
RSS订阅原创 亮数据 | AI生成的爬虫真的够用吗？Scraper Studio IDE多阶段抓取实测
现在利用 AI 生成爬虫已经不是什么难事，只需要描述目标网站和需要的数据，AI 就能够帮助我们生成采集代码。但如果后续需求发生变化，比如最开始只需要商品标题，后来又需要价格、评分、品牌等详细信息，难道每次都要重新生成一个爬虫吗？这次我选择 Amazon 商品榜单作为测试场景，通过，体验从 AI 生成基础爬虫，到修改 JavaScript、扩展商品字段以及多阶段抓取的完整过程。经过这次体验，我认为 Scraper Studio 的价值不仅在于能够使用 AI 快速生成爬虫，更在于。
2026-11-06 18:26:57
196
原创 亮数据 | Browser API 实战：Booking.com 动态页面抓取对比
在做旅游、电商、社交平台这类网页采集时，很多页面已经不是简单的静态 HTML。页面内容需要 JS 渲染，还可能包含验证码、弹窗、搜索表单、日期选择器等交互流程。这次我选择 Booking.com 作为测试目标，搜索地点为New York打开 Booking.com 首页输入搜索地点选择入住和退房日期提交搜索抓取酒店名称、价格、评分和评价数量这个场景比较适合验证 Browser API，因为它不是单纯请求一个 URL 就能拿到结构化数据。
2026-10-06 16:01:38
252
原创 2026年远程工具怎么选？从IT支持场景说起
做 IT 支持和运维的，大概率都有过这种经历：电脑里装了四五个远程相关的工具，远控一个、传文件一个、内网穿透又一个，账号分别登，连接分别配，出门在外还要想半天"我现在该开哪个"。
2026-09-29 08:58:25
39744
原创 Bright Data | 利用 SERP API 实现竞品广告情报监测
本次使用下来也验证了 Bright Data SERP API 在竞品广告情报采集场景中的应用能力。通过结构化接口，我们可以快速获取搜索结果中的广告信息、落地页以及相关扩展数据，为市场分析和营销决策提供参考依据。对于需要长期跟踪竞品广告策略的团队来说，这种自动化采集方式能够有效降低人工成本，并提高数据获取效率。🛡️ 亮数据官方账号👉🎁 福利信息👉 新用户通过下方专属链接 注册，还可领取专属免费额度。
2026-07-24 19:44:39
205
原创 飞算 JavaAI 炫技赛完整实操复盘：订单模块全流程开发实录
整场炫技赛实操下来，我没有刻意测试极限功能，只是还原日常企业Java开发的真实流程，但飞算JavaAI智能会话的表现确实很贴合开发者的实际需求，相比传统开发模式，几个优势感受很直观。首先是专属适配性强，它完全贴合Java技术栈生态，针对SpringBoot、MyBatis-Plus、Redis等主流框架的适配度极高，不会出现通用AI常见的框架版本不匹配、注解错误、代码水土不服的问题。其次是上下文连续性好。
2026-07-13 21:27:12
9788
原创 Bright Data AI Agent VS 传统爬虫开发
Bright Data AI Agent 正在改变传统数据采集方式。通过自然语言描述需求，AI 即可自动完成数据获取，大幅降低了市场调研、竞品分析等场景的技术门槛。测试显示，相比传统爬虫开发需要编写代码、调试选择器，AI Agent 更侧重结果导向。虽然复杂场景仍需IDE开发，但AI驱动的数据采集正成为趋势，让非技术人员也能轻松获取网络数据。Bright Data AI Studio提供免费试用，无需信用卡即可体验这种新型数据采集模式。
2026-06-25 22:30:53
819
原创 AI 已经开始自动理解网页了？使用Bright Data AI Studio 自动整理海外热门资讯
整体体验下来，AI Studio 给我的感觉，更像是在把原本复杂的网页信息整理流程变得更简单。相比传统方式，它通过 AI 自动识别网页结构、可视化配置以及自动化运行等能力，明显降低了信息获取和整理的门槛。无论是个人开发者、内容创作者，还是需要长期关注行业动态的中小团队，都可以更快速地搭建自己的信息工作流。如果你也对 AI 驱动的网页自动化感兴趣，可以体验一下的AI Studio。🛡️ 亮数据官方账号🎁 福利信息👉 新用户通过下方专属链接注册，还可领取专属免费额度h。
2026-05-25 12:34:55
348
原创 在 VS Code 中配置 PHP 开发环境完整指南
本文将详细介绍如何在 Windows 系统下使用 VS Code 搭建 PHP 开发环境，涵盖 PHP 安装、必要插件配置以及运行环境设置。
2026-01-27 23:01:36
6955
原创 Nginx解决Access-Control-Allow-Origin跨域问题完全指南
以上就是今天要讲的内容，本文仅仅简单介绍了用nginx来解决Access-Control-Allow-Origin跨域问题；
2026-01-27 22:56:10
7159
原创 JVM内存设置与查看
本文介绍了JVM内存参数的设置方法，包括-Xmx（最大堆内存）、-Xms（初始堆内存）、-Xmn（年轻代大小）和-Xss（线程栈大小）四个关键参数
2026-01-23 23:55:08
4484
原创 如何在 PostgreSQL 中实现高效的分页查询，特别是在数据量巨大的情况下？
在 PostgreSQL 中实现高效的分页查询，尤其是在数据量巨大的情况下，需要综合考虑数据的特点、查询条件和性能需求。
2026-01-23 23:51:49
2923
原创 AI绘画开源最强软件SD WEBUI手把手使用教学！
帮助用户快速掌握Stable Diffusion WebUI的基础操作，为后续AI绘图创作打下基础。
2026-01-23 23:48:48
5173
1
原创 亮数据 | 为什么你的爬虫“成功了”，业务却失败了？
企业数据采集中常遇到HTTP 200"假成功"问题：请求返回成功状态码，却获取到首页/登录页而非目标数据。文章通过京东采集案例，分析传统爬虫不带Cookie的缺陷及Cookie方案的长期风险，提出无需维护登录状态的解决方案——亮数据网络解锁器API，将复杂流程简化为稳定接口调用。该方案能帮助企业实现长期稳定、低维护的数据采集，文末还提供新用户注册福利。
2026-01-20 23:35:30
1078
原创 CNI/CSI等插件的灵衢化使能：赋能灵衢开发者高效实践
华为UB灵衢总线构建的超节点架构突破传统服务器资源边界，实现多节点资源池化与统一通信
2025-12-15 23:21:20
24586
原创 从愿景到落地：openFuyao 的技术定位与生态构建
openFuyao是一个面向异构算力的开放容器平台，旨在解决CPU/GPU/NPU等多样化硬件在驱动模型、加速框架和调度方式上的差异问题
2025-12-15 23:17:43
24881
原创 从异构到融合：openFuyao 多样化算力资源池化与调度总体方案——KAE-Operator 实践与拓展
为解决这些问题，openFuyao 构建了以 KAE-Operator、NPU-Operator、NFD（Node Feature Discovery） 为核心的算力自动化能力体系，实现加速能力的 “自动部署、一键接入、统一调度”。NPU-Operator 与 KAE-Operator 架构一致，通过自动部署驱动、注册 NPU 设备能力，使 AI 推理算力可调度、可监控、可管理。KAE-Operator 与 NPU-Operator、NFD 的协同，是 openFuyao 在多样化算力时代的重要基石。
2025-12-13 13:09:37
28005
原创 vLLM on Ascend 实战总结：从部署到性能调优的完整流程解析
昇腾平台以其完善的软件栈和高效的并行算子执行能力，为 vLLM 提供了新的运行后端。综合来看，vLLM 的轻量架构与昇腾平台的高性能算力是非常契合的一对组合 前者解决了推理内存瓶颈，后者在硬件层面提供了高吞吐支撑，两者结合能在。其中 VLLM_USE_ASCEND=1 用于显式启用昇腾推理模式，确保 vLLM 在加载模型时调用对应的算子库。以下数据来自昇腾社区公开测试结果，对比了 vLLM 在不同平台下的性能表现（模型：Llama-2-7B）。在官方案例中，使用 Llama-2-7B 模型进行演示。
2025-12-01 18:06:48
26696
1
原创 vLLM-ascend：昇腾NPU大模型推理讲解与性能调优
vLLM-ascend是昇腾NPU适配的高性能大模型推理框架，通过PagedAttention和Continuous Batching两大核心技术实现显著性能提升。PagedAttention借鉴操作系统内存管理，将KV Cache分块存储，内存利用率提升至89%；Continuous Batching实现动态请求调度，GPU利用率达92%。vLLM-ascend通过后端适配层实现CUDA到NPU的无缝迁移，保持原框架优势。以Qwen-7B模型为例，经过参数调优后吞吐量可从800提升至3000 tokens
2025-12-01 18:06:20
27296
原创 在 Chrome 里通过 ZeroOmega 插件，接入亮数据的数据中心代理 IP
本文介绍了在数据采集和网络调试中常见的IP限制问题，并演示了如何通过Chrome浏览器集成亮数据数据中心代理的解决方案。文章包含实战视频，展示使用ZeroOmega插件连接亮数据代理的具体操作流程，验证了该方案的可用性与稳定性。针对数据采集和接口调试需求，推荐使用亮数据代理服务，并提供新用户注册福利（30美元赠金）。后续将持续分享更多代理应用与数据采集的实战内容。
2025-11-24 22:56:35
38676
原创 仓颉生态工具新构想：智能包管理器 CangPkg 设计与实现展望
本文提出为华为仓颉语言设计智能包管理器CangPkg的构想，旨在解决依赖管理、性能优化和安全审查等生态建设关键问题
2025-11-12 20:57:08
27124
原创 Spring中的拦截器
在web开发中，拦截器是经常用到的功能。它可以帮我们预先设置数据以及统计方法的执行效率等等。今天就来详细的谈一下spring中的拦截器。spring中拦截器主要分两种，一个是HandlerInterceptor，一个是MethodInterceptor。HandlerInterceptor是springMVC项目中的拦截器，它拦截的目标是请求的地址，比MethodInterceptor先执行。其工作原理是当请求来时先进性预处理，如下。这里我们可以实现一个通过HandlerInterceptor实现打印请求开
2022-06-12 13:32:58
11010
1
原创 python绘制子图技巧——plt.subplot和plt.subplots、及坐标轴修改
偶然发现中绘制子图有两种方法，一种是，另一种是，这篇博客说一下这两种方法的区别，用法，以及常用的一些函数。的作用是定义一个大的图纸，可以设置图纸的大小、分辨率等，例如 是直接在当前活跃的的axes上面作图，注意是当前活跃的知道这两点基础知识后，再来看和作用是指定子图的位置，比如说现在总共有1行10列，当前子图位于哪里；使用这个函数时需要先定义一个大的图纸，因为subplot函数无法更改图纸的大小和分辨率等信息；所以必须通过来定义图纸相关设置；同时，后续对于这个函数便捷的操作就是直接用，获取当前活跃的
2022-06-12 02:31:18
27493
1
原创 Java IO流（超详细！）
通过IO可以完成硬盘文件的读和写。以内存作为参照物：这种流是万能的，什么类型的文件都可以读取。包括： 等…eg.假设文件file1.txt，采用字节流的话是这样读的：a中国bc张三fe第一次读：一个字节，正好读到’a’第二次读：一个字节，正好读到’中’字符的一半。第三次读：一个字节，正好读到’中’字符的另外一半。这种流是为了方便读取 而存在的，这种流不能读取：图片、声音、视频等文件。只能读取 ，连word文件都无法读取。注意：纯文本文件，不单单是.txt文件，还包括 .java、.ini、.p
2022-06-08 01:57:02
4163
原创 Java web 实现视频在线播放的常用几种方法
**1. 使用jQuery库的 video.js(1) 首先我们要下载video.js 网址：http://www.jq22.com/jquery-info404(2)然后在要播放的html/jsp 页面引入js(3)在要播放的div 加一个父div （m）并且定义它的样式**（4）播放器的位置 下面的代码只需要修改视频的地址就可以播放视频 <div class="m"> <video id="my-video" class="video-js" contro
2022-05-27 00:25:56
13413
原创 推荐10个堪称神器的 Java 学习网站
经常有一些读者问我：“二哥，学习 Java 应该关注哪些网站？”，我之前的态度一直是上知乎、上搜索引擎搜一下不就知道了。但读者对我这个态度很不满意，他们说，“我在问你，又不是问知乎，问搜索引擎。”你还别说，读者说得有道理。于是我想，那就推荐一些吧。先说我心目中的前三名，但不局限于 Java 学习者。1）Google啥都不说了，说多了都是泪，可气的是 Robin 李的搜索引擎实在是不争气。说句良心话，Google 的搜索结果比前者的质量高出一百（零一）倍。我想，推荐 Google 的人不在少数，但 G
2022-05-20 22:48:23
13479
3
原创 java如何判断map集合中是否存在key？
java如何判断map集合中是否存在key？,方法,遍历,不存在,键值,是一个java如何判断map集合中是否存在key？易采站长站，站长之家为您整理了java如何判断map集合中是否存在key？的相关内容。java判断map集合中是否存在指定key的方法：1、使用containsKey()方法判断；如果存在则返回true，如果不存在则返回false。2、利用循环遍历，逐个比较，进行判断。推荐：《Java视频教程》java 中有时候会遇到判断传过来的map里是否包含了指定的key，下面有两种办法
2022-04-19 12:17:37
19489
原创 docker启动命令,docker重启命令,docker关闭命令
一.docker服务的命令启动：systemctl start docker守护进程重启：systemctl daemon-reload重启docker服务：systemctl restart docker / service docker restart关闭：docker service docker stop / docker systemctl stop docker二.关于docker容器的命令启动：docker start 容器ID或容器名1. 先查看已经暂停的容器实例信息
2022-04-14 14:30:29
55761
原创 mysql配置环境变量（win 10）
1、安装完mysql后就需要配置环境变量 (win 10)选择“我的电脑”，单击右键，选择“属性->高级->环境变量中的系统变量，对 MYSQL_HOME、Path 这 2 个系统变量分别设置如下相应的值（设置原则：如果存在相应的变量，直接对该变量进行编辑，注意只添加不删除；如果该变量不存在，则新建后再编辑。）这里由于没有于是就新建一个环境变量 MYSQL_HOMEMYSQL_HOME=D:AppMysql （ 目录选择自己的安装目录）（此处需注意，如果是为某个已存在的变量新增变量内容，
2022-04-13 15:59:30
10756
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人