- 博客(552)
- 收藏
- 关注
RSS订阅原创 python 常用的6个爬虫第三方库
亮数据平台提供了强大的数据采集工具，比如Web Scraper IDE、亮数据浏览器、SERP API等，能够自动化地从网站上抓取所需数据，无需分析目标平台的接口，直接使用亮数据提供的方案即可安全稳定地获取数据。requests 库提供了丰富的功能和灵活性，支持多种请求类型（如 GET、POST、PUT、DELETE 等），可以发送带有参数、头信息、文件等的请求，并且能够处理复杂的响应内容（如 JSON、XML 等）。它提供了丰富的API，使得开发者可以轻松地读取、解析、创建和修改XML和HTML文档。
2025-04-01 22:07:06
740
原创 Orange，可以拖拉拽的Python数据挖掘软件，强烈推荐~
Python是数据挖掘的核心编程语言，但一般门槛较高，你得掌握pandas、numpy、sklearn、keras等复杂的数据处理和机器学习框架，才能写一些数据挖掘算法，因此让不少人望而却步。总的来说，Orange比较适合编程新手，或者想节省时间的分析人员，它适用于数据挖掘、数据分析、统计分析、机器学习等多个领域，如果使用熟练，一点不亚于Python编程。这个数据工具有丰富的组件可以使用，像数据IO、数据转换、数据可视化、机器学习算法、模型评估等，不需要额外写代码，拿来即用，参数也是可视化调整。
2025-04-01 21:36:20
174
原创 Python+新版DeepSeek V3轻松开发Agent
前几天新版模型（代号250324）更新发布。作为支持函数调用的先进开源大模型，我们可以基于它进行高效的Agent功能开发，这也是当下非常火热🔥的AI应用领域。今天的文章中，我就将带大家以Python生态中非常好用的Agent开发框架为例，演示如何接入国内主流的服务，轻松实现常见的Agent开发相关功能。为了能以兼容openai标准的形式，在中调用国内常用的各种DeepSeek服务源，我们需要基于中的来自定义模型提供源譬如，接入DeepSeek# 示例1：DeepSeek官方。
2025-03-31 22:32:38
650
原创 电商数据采集神器，附干货教程
最近DeepSeek大火，对话质量之高一度超过ChatGPT、Claude等主流海外模型。你知道什么决定了大模型训练结果的好坏吗?除了算法外，训练数据的质和量起着决定性作用，而很多AI公司用到的训练数据就是利用爬虫技术从全网抓取的，这也是OpenAI、Anthropic等公司的核心竞争力。
2025-03-31 22:25:12
1117
原创 写Python时不用import，你会遭遇什么
没有import就不会有Python的今天，模块化封装让Python拥有了成千上万个优秀的工具包，像pandas、numpy、requests、tensorflow等，拿来即用，甚至比有些图形化软件还容易上手，正是这些工具包使得Python流行起来。当然对于想提升代码能力和算法思维的人来说，不用import，徒手撸算法是很好的训练方法，但如果你只是用Python来解决问题，遇到好的工具包，最好能import就import。想必你已经再熟悉不过这样的python语法。假如你自己手撸代码，则需要十几行。
2025-03-30 17:57:30
341
原创 非常好用的3个地图可视化工具，强烈推荐~
地图可视化是数据分析中常用的场景，比如做轨迹分析、区域分布分析、地理空间分析等，都会用到地图可视化，通过地图的可视化表达能非常清晰的展现数据在地理空间上的分布。这里推荐3个我常用的地图可视化分析工具，可视化分析和渲染能力都非常的强大。其中有依赖Python的第三方可视化库-Basemap，还有基于web的可视化工具-Kepler.gl，也有独立的BI可视化软件-Tableau。
2025-03-30 00:20:58
353
原创 Python常用爬虫库介绍
亮数据平台提供了强大的数据采集工具，比如Web Scraper IDE、亮数据浏览器、SERP API等，能够自动化地从网站上抓取所需数据，无需分析目标平台的接口，直接使用亮数据提供的方案即可安全稳定地获取数据。requests 库提供了丰富的功能和灵活性，支持多种请求类型（如 GET、POST、PUT、DELETE 等），可以发送带有参数、头信息、文件等的请求，并且能够处理复杂的响应内容（如 JSON、XML 等）。等，负责浏览器自动化操作，可以用于浏览器自动化、爬虫、Web UI测试。
2025-03-27 08:32:19
1268
原创 程序员如何用好 Cursor 工具？
这就是Cursor，非常的简单且强大， 我只是演示了核心功能，其他还有很好玩的部分等你去研究，比如批量代码替换、代码解释与学习、自动生成注释等，而且Cursor内置终端、集成Git、支持 VSCode 插件，几乎一个终端能完成编程所有事情。因为Cursor不仅分析当前文件，还能结合整个项目上下文，理解多文件代码逻辑。第一种是直接使用内置的deepseek-r1、deepseek v3模型，无需任何配置，下载安装好Cursor就可以使用，但需要购买Cursor的会员，还挺贵的，Pro版需要20刀每月。
2025-03-27 08:29:30
1013
原创 厉害的人都在用什么思维模型？
想象一下，在3个月内在知乎收获10万粉丝，你该什么样的写作方式，下面我将...”这是想象+奖赏机制的开场，给一个目标，如何去实现它。
2025-03-26 21:28:47
613
原创 Numpy为什么是Python数据科学的顶级库？
今天偶然看到Numpy在Nature上发布的一篇论文，觉得很有意思，一个Python库也能发顶级期刊。等我看完这篇文章，确实被Numpy的强大震撼到。它是数值科学计算的基础，Python领域几乎所有的机器学习、深度学习、图像处理、文本情感分析等都是基于Numpy进行开发的。论文主要介绍了Numpy的特性、发展过程和应用场景，也为Numpy未来的发展鼓足了信心！还有很重要的一点是，Numpy速度和C一样快，操作和Python一样简洁。简单来说，Numpy是Python中基于数组对象的核心科学计算库。
2025-03-26 21:27:10
144
原创 SQLBolt，一个练习SQL的宝藏网站
我之前学习SQL买了本SQL学习指南，把语法从头到尾看了个遍，但仅仅是心里有数的程度，后来进公司大量的写代码跑数，才算真真摸透了SQL，知道怎么调优才能最大化效率。我看了下大概是有18个练习项目，覆盖了SQL简单查询、筛选排序、分组聚合、多表查询、子查询、连接、条件判断，以及增删改等大部分的练习操作。其实我理解的SQL学习分两步，首先弄清楚SQL基础语法，然后大量的去写代码，所以不必纠结用哪个网站或者教程，只要你能找到的都可以去学。它提供了数据集，你只要按照题目要求写SQL代码，就能直接跑数。
2025-03-26 21:25:48
96
原创 我使用Python操作Excel的两种主要工具
其次是针对Excel文件本身的交互操作，比如修改格式、制作图表、透视表、宏等，这种操作需要用到专门的Excel处理库，像xlwings、openpyxl等。这里重点讲讲xlwings，xlwings是比较专业全面的Excel操作库，可以使用Python自动化操作Excel中的任何功能，比如可视化、格式处理、数据透视等。使用Pandas中的read_excel、to_excel函数，在Excel和DataFrame格式间进行转换。其他的诸如xlrd、xlwt功能单一，也没有Pandas好用。
2025-03-26 21:25:09
320
原创 Nuitka打包Python exe文件，太好用了
众所周知，用PyInstaller打包exe会导致文件过大，PyInstaller特点是将乱七八糟的东西打包一起，比如各种依赖库，即使你的程序只使用了pandas很小一个功能，比如read_data，它也会将整个pandas打包，这就导致出来的exe文件非常的大。.spec文件是PyInstaller在打包exe程序时生成的配置文件，包含了所有配置信息，像脚本路径、依赖库、资源文件、打包选项等，可以通过修改.spec文件，来精简不必要的依赖。最后再用PyInstaller打包.spec文件，变成exe。
2025-03-25 08:24:05
350
原创 老实说，爬虫究竟是合法还是违法的？
爬虫技术本身是中立且合法的，如今数据采集已经是家常便饭，写个Python脚本抓取数据再正常不过，但我们也不时耳闻因为爬虫进去踩缝纫机的新闻，那么爬虫的合法与违法到底该怎么界定呢？爬取互联网公开数据一般是合法的，比如电商商品、新闻评论等等，但通过解密方式抓取非公开数据是违法的，如爬取某公司内部服务器数据、某电商网站的加密接口数据等，都是违法的。一般而言，爬虫抓取数据用于个人研究或公司内部使用是没事的，但如果用于商业牟利，且造成了严重侵权，被抓了现行，一般是要付出法律代价的。
2025-03-25 08:23:17
1526
1
原创 是时候跟Conda说再见了
组织发展迅速，提供了可免费使用，无商业风险且稳定高效的一系列开源工具及网络资源服务，今天我要给大家介绍的。在短时间内完成初始化解析后，非常流畅地以并行的方式迅速完成了各依赖库的下载及安装过程（同样的操作，检测出企业IP地址，进而收到相关的律师函警告，引发了一系列的商业风险。的软件产品，导致很多公司在未获得商业许可的前提下，内部使用。参数自定义镜像源，如下面的例子中使用到南方科技大学的。），选择与自己系统相符合的版本进行下载即可，以。在这样的大背景下，由开源软件社区驱动的。为例，下载当前最新版本对应的。
2025-03-24 20:41:36
305
原创 数据采集利器-亮数据，可以轻松解锁各种网站~
亮数据平台提供了强大的数据采集工具，比如Web Scraper IDE、亮数据浏览器、SERP API等，能够自动化地从网站上抓取所需数据，无需分析目标平台的接口，直接使用亮数据提供的方案即可安全稳定地获取数据。网络爬虫是一种常见的数据采集技术，与屏幕抓取不同，屏幕抓取只复制屏幕上显示的像素，网络爬虫提取的是底层的HTML代码，以及存储在数据库中的数据。你可以使用Python编写爬虫代码实现数据采集，也可以使用自动化爬虫工具，这些工具对爬虫代码进行了封装，你只需要配置下参数，就可以自动进行爬虫。
2025-03-24 20:35:46
1216
原创 如何写出“高颜值”的Python代码
代码的过程中，由于个人经验及编程习惯上的差异，有些人写出的代码可读性很高，一眼看上去就非常整洁易懂，而有些人写出的代码则十分“潦草随意”，读起来颇为费劲。编写，因此执行相关功能时的运算速度超快，据官方称可达到其他同类型工具的10~100倍之多⚡，今天的文章中，费老师我就将为大家介绍基于。代码，除了需要在编写大量代码的过程中逐渐养成良好习惯外，还可以结合代码格式化工具实现代码的自动格式美化，经典的。调整部分的格式化规则，譬如在引号的使用上，你更倾向于使用单引号，在。来编写具体的规则，譬如在下面的示例。
2025-03-23 18:45:09
291
原创 pandas中新增的case_when()方法
语句功能，今天的文章中，我们就来get其具体使用方法~更灵活的方式，是将条件写作可执行函数，譬如。的前提下，终端执行下列命令安装最新版本的。对象的方法，其参数非常简单只有一个。，最基础的用法下，每个条件为与目标。的过程中，可以很灵活的基于上一步的。，用于定义条件映射规则，格式如。函数式条件，在针对数据框进行。
2025-03-23 18:44:35
296
原创 利用Python快速提取字体子集
在我们日常进行数据可视化、web应用开发等场景中，经常会用到一些特殊的非系统自带字体，尤其是中文字体，由于包含的字符数量众多，因此体积一般都比较大，这在进行数据可视化读取字体文件，或是网页应用中通过网络加载字体文件时，就会带来更多的耗时。而我们完全可以针对字体文件运用“按需引入”的思想，从原始的体积较大的全量字体文件中，根据我们实际使用到的文字范围，进行子集的提取，从而大幅度提升效率。库来快捷实现此项需求，它由谷歌开源，自带了若干实用的字体处理相关命令行工具，使用。的字体文件中，提取出大小仅有。
2025-03-23 18:43:35
301
原创 pandas中基于范围条件进行表连接
但在有些情况下，我们可能需要基于一些“特殊”的条件匹配，来完成左右表之间的表连接操作，譬如对于下面的示例数据框。等方法，可以根据左右表连接依赖字段之间对应值是否相等，来实现常规的表连接。而除了上面的方式以外，我们还可以基于之前的文章中给大家介绍过的。表连接是我们日常开展数据分析过程中很常见的操作，在。之间相差不超过7天，这样的条件来进行表连接，，直接基于范围比较进行连接，且该方式还支持。进行连接，再在初步连接的结果表中基于。
2025-03-23 18:42:59
148
原创 Python中的null是什么？
null正确的发音是/n^l/，有点类似四声‘纳儿’，在计算机中null是一种类型，代表空字符，没有与任何一个值绑定并且存储空间也没有存储值。检查 None 的唯一性，它返回某一对象的唯一标识符，如果两个变量的 id 相同，那么它们实际上指向的是同一个对象。在Python中，None、False、0、””(空字符串)、、()(空元組)、{}(空字典)都相当于False。在Python中，None的用处有很多，比如作为变量初始值、作为函数默认参数、作为空值等等。None不等于0、任何空字符串、False等。
2025-03-21 10:45:36
429
原创 Python如何在工业自动化领域中应用
其结果是，一台机器可以看到的不仅仅是像素，它可以区分产品，执行质量保证检查，并以复杂的细节处理其环境。如今大多数的ML都是用Python编写的，诸如PyTorch和Google的开源TensorFlow等框架使用Python，亚马逊的云AI服务AWS SageMaker带有内置的Python软件开发工具包（SDK）。首先，工业4.0正在改变我们对工业自动化的看法，特别是它强调了“智能”制造的重要性，其具有更高的自主性、丰富的大数据，并与增材制造、云计算等下一代技术全面集成。以下是常见的工业ML场景。
2025-03-21 10:45:02
404
原创 Python的风格应该是怎样的？除语法外，有哪些规范？
列表推导式可以简化列表的创建，既实用还能让代码更加美观，但列表推导式只适合创建逻辑简单的列表，对于很复杂且代码量大的列表，是不建议用列表推导式的，比如以下案例。在Python中大家可以把一个复杂的功能，用多个函数去分解，一个函数代码行数最好不要超过十行，如果确实需要很多代码，那就进行分解，多写几个函数来实现。Python是鼓励用函数和类去封装一些重复用的功能，这样能增加代码的可读性，也减少不必要的劳动，但一些人就是喜欢写很长的代码，导致看着很冗余。风格的，多多少少都会让人有点难受。
2025-03-19 16:14:52
382
原创 RPA 数据爬虫和 python 有什么区别？
比如你想做个保单管理的RPA系统，首先你得要知道保单哪些环节可以通过RPA来提升效率，比如保单录入、更新、查询、续保、理赔等流程，这些流程涉及到用户的哪些数据、这些数据在哪些系统里等等，都需要很专业的保险行业知识。如果人工来处理财务之类的数据，很浪费时间，而RPA可以搭建一整套财务自动化的系统，从数据采集、存储、整合、分析、输出都帮你串起来，既节省了人力又极大的避免人为出错。比如你的财务同事需要做财务对账，发票报销，税务申报等，这些流程看似容易，其实到操作层面很繁琐细碎，而且大多是重复性操作。
2025-03-19 16:13:55
440
原创 7款电商数据必备的爬虫利器，强烈推荐~
在当今数据驱动的时代，自动化爬虫工具和软件成为了许多企业和个人获取数据的重要手段，特别是跨境电商、外贸等业务，对数据的需求非常大，比如对amazon、tiktok、shopee等网站数据的监测和获取。这里会介绍7款功能强大、操作简便的自动化爬虫工具，用好了可以更高效地进行数据采集，非常适合电商外贸场景。
2025-03-18 17:06:13
1530
原创 AI满地爬，其实你更应该学Python，这个原因很重要！
咱们平常接触到的大模型都是大公司开发好的聊天窗口，像DeepSeek、ChatGPT、豆包，你问一句，它们答一句，顶多让你上传个PDF、Excel、图片，AI帮你解读解读。要知道开卷考试，有人考99分，也有人考59分，AI生成代码，也需要你有阅读代码和程序开发的能力，才能将AI生成的代码变成一款优秀的应用，不然只是AI垃圾。所以，想要用好大模型API，你得学会用Python，能处理数据的输入输出，微调各种模型参数，使得大模型更适合专业领域。你会我会大家会，这其中的使用门槛非常之低，并且浪费了大模型的能力。
2025-03-18 17:03:58
228
原创 我使用Python操作Excel的两种主要工具
其次是针对Excel文件本身的交互操作，比如修改格式、制作图表、透视表、宏等，这种操作需要用到专门的Excel处理库，像xlwings、openpyxl等。这里重点讲讲xlwings，xlwings是比较专业全面的Excel操作库，可以使用Python自动化操作Excel中的任何功能，比如可视化、格式处理、数据透视等。我之前写过一些Python操作excel的教程，包括了pandas、xlwings等库的详细使用方法和案例，供大家参考。其他的诸如xlrd、xlwt功能单一，也没有Pandas好用。
2025-03-17 14:22:29
338
原创 推荐3款自动爬虫神器，再也不用手撸代码了
亮数据平台提供了强大的数据采集工具，比如Web Scraper IDE、亮数据浏览器、SERP API等，能够自动化地从网站上抓取所需数据，无需分析目标平台的接口，直接使用亮数据提供的方案即可安全稳定地获取数据。与屏幕抓取不同，屏幕抓取只复制屏幕上显示的像素，网络爬虫提取的是底层的HTML代码，以及存储在数据库中的数据。你可以使用Python编写爬虫代码实现数据采集，也可以使用自动化爬虫工具，这些工具对爬虫代码进行了封装，你只需要配置下参数，就可以自动进行爬虫。
2025-03-17 14:21:12
1463
原创 Python 打包成 exe，太大了该怎么解决？
还有PyInstaller会打包Python解释器，方便在没有python的机器上运行python，而Python解释器本身就很大，包含了很多标准库，有二三十兆。来打包exe文件，Nuitka会Python代码编译为C代码，生成更小的二进制文件，这样就没有各种依赖库和Python解释器一起打包的困扰了。但这种方法打包出来的exe还是会偏大，虽然剔除了不必要的依赖库，但是python解释器和用到的库还是会被打包进来，这就是比较烦。如果是打包更加复杂的程序，软件的大小会进一步压缩，Nuitka的优势会更明显。
2025-03-16 17:47:19
311
原创 通俗的讲，网络爬虫到底是什么？
爬虫通俗来说就是抓取网页数据，比如说大家都喜欢的妹子图、小视频呀，还有电子书、文字评论、商品详情等等。只要网页上有的，都可以通过爬虫爬取下来。一般而言，当然会撸python是前提，对于小白来说自学也不是件容易的事，需要花相当的时间去适应python的语法逻辑，而且要坚持亲手敲代码，不断练习。如果对自己没有自信，也可以考虑看编程课程，跟着老师的节奏去学习，能比较快地掌握python语法体系，也能得到充分的案例练习。在默认你已经有python基础的前提下，来说一说如何写代码进行网页请求、解析。
2025-03-16 17:46:06
1196
原创 如何使用python连接数据库？
有个小插曲，MySQL和MariaDB相当于姐姐妹妹的关系，两者由同一个人（Widenius）创建的。MySQL被Oracle收购后，Widenius先生觉得不爽，于是搞了个MariaDB，可以完全替代MySQL。更新数据：UPDATE 表名称 SET 列名1=新数据1，列名2=新数据2 WHERE 某列=某数据；创建数据表：CREATE TABLE 表名称（列名1 （数据类型1），列名2 （数据类型2））；插入数据：INSERT INTO 表名称（列名1，列名2） VALUES（数据1，数据2）；
2025-03-15 23:44:24
273
原创 如何用Deepseek制作流程图？
使用Deepseek制作流程图，本质上是让AI根据你的需求，生成相关流程图的代码，然后在流程图编辑器中渲染，类似于Python一样，ChatGPT可以生成代码，但仍需在IDE中执行。DeepSeek可以根据你的需求轻松地生成mermaid代码，然后你把代码复制到专门的mermaid编辑器中，便可以渲染出漂亮的流程图。不光是流程图，mermaid还支持生成甘特图、思维导图、用户旅程图、类图等等，deepseek都可以帮忙生成代码，非常的方便。将代码复制到mermaid编辑器中渲染，会得到流程图。
2025-03-15 23:42:58
2436
原创 纯Python实现Deepseek联网问答助手
系列开源模型，上线了诸多在线对话应用，以及供开发者编程灵活调用的模型问答API服务。的持续爆火，其官方在线问答页面、API接口均受访问量暴增影响而变得不稳定。与此同时，硅基流动、腾讯云、火山方舟等众多第三方平台抓住机会，各自部署了。完成上述准备过程后，终端切换到本文应用源码工程的根目录（参数值，读者朋友们请记录下自己对应的，我们在后面提到的。生态组件库，从而实现相关功能的高效开发。按钮完成创建，这时就可以点击右上角的。首先我们需要准备该应用底层所调用的。接着参考下面的例子，配置好对应的。
2025-03-14 16:37:37
691
原创 使用DeepSeek制作可视化图表和流程图
用DeepSeek来制作可视化图表，搭配python、mermaid、html来实现可视化，我已经测试过好几种场景，都能实现自动化的代码生成，效果还是不错的，流程如下。Python中的Matplotlib库是非常好用的可视化绘图工具，可以生成各种二维、三维统计图表，而且定制化程度高，支持配置任何你想要的图表形式。DeepSeek可以根据你的需求轻松地生成mermaid代码，然后你把代码复制到专门的mermaid编辑器中，便可以渲染出漂亮的流程图。将代码复制到mermaid编辑器中渲染，会得到流程图。
2025-03-14 14:35:43
2022
2
原创 Vscode有什么好用的插件？
都2025年了，人手必备的vscode插件肯定AI编程类插件了，比如说cline、，都是非常火的辅助编程工具。这些插件之前都是只支持ChatGPT、Claude、Gemini那些国外主流大模型，但随着的爆火，逐渐开始支持连接DeepSeek来实现AI编程。下面简单介绍下这几个AI编程插件，一方面它们支持快速设置DeepSeek连接，包括线上API和本地部署模型，另一方面它们具备代码生成、补全、debug等核心AI编程功能，不输cursor。
2025-03-13 14:04:01
671
原创 这3个可视化软件图真的好看，必须推荐～
Python中有非常多好看的可视化绘图库，比如matplotlib，可定制性强、图表资源丰富、简单易用、达到出版质量级别。其它的可视化库诸如：seaborn、pyecharts、ggplot、altair、pyqtgraph、pygal、vispy、networkx、plotly、bokeh等等，各有各的优势。这里介绍3个我最常用的可视化库，即能满足常见的数据可视化需求，还能集成在web等应用中。
2025-03-13 14:01:31
236
原创 推荐一个比较好的开源的工作流引擎
Dify是一款开源的AI开发框架，可以快速的将AI大模型应用到工作流程中，简单来说就是帮你造好了各种轮子，你只需要设计流程就能独立开发AI应用，哪怕你没有任何代码能力，是不是很方便。等，支持通过拖拉拽设计工作流实现一个AI工具的搭建，但这些平台都是大厂的商业应用，你只能在它的平台里搭建和使用，无法离线部署，缺乏应用的灵活性和数据安全性。如果你想在本地部署私有工作流，可以使用Dify来实现，配合本地部署的DeepSeek作为模型基座，这样就是实现完全离线的AI工作流，非常适合数据敏感的企业。
2025-03-11 16:47:06
411
原创 AI Toolkit，VsCode最强AI插件
AI Toolkit是微软官方AI大模型生态插件，主要用来下载、微调、测试大模型，它的模型库丰富丰富，有75个线上模型，以及可以连接本地模型，而且提供了模型测试 Playground、模型微调 Fine-tuning等功能，可以让你更好的使用大模型。AI Toolkit不同于传统AI编程插件，它是服务于大模型的工具箱，辅助编程只是它的功能之一，所以如果你想要训练自定义模型，可以来试试AI Toolkit。你可以对DeepSeek参数进行调整，比如温度、最大输出字符数等，让模型更加符合你的需求。
2025-03-11 16:29:51
330
原创 爬虫神器-亮数据，可以轻松解锁各种网站~
亮数据平台提供了强大的数据采集工具，比如Web Scraper IDE、亮数据浏览器、SERP API等，能够自动化地从网站上抓取所需数据，无需分析目标平台的接口，直接使用亮数据提供的方案即可安全稳定地获取数据。网络爬虫是一种常见的数据采集技术，与屏幕抓取不同，屏幕抓取只复制屏幕上显示的像素，网络爬虫提取的是底层的HTML代码，以及存储在数据库中的数据。你可以使用Python编写爬虫代码实现数据采集，也可以使用自动化爬虫工具，这些工具对爬虫代码进行了封装，你只需要配置下参数，就可以自动进行爬虫。
2025-03-10 15:30:19
809
原创 学会这7个爬虫软件，三分钟搞定数据采集
它提供了自动网站解锁功能，能够应对动态加载、验证码、IP限制等各种反爬虫机制，而且支持如Puppeteer、Playwright和Selenium等多种爬虫工具，在亮数据内置的无界面浏览器上进行数据的采集，成功率非常高。不管是文本、图片、视频亦或表格，八爪鱼都能抓，而且它还提供了非常丰富的采集模板，比如电商、新闻、短视频等主流平台全包含，它已经帮你配置好了流程，一键可以实现爬虫。它的优势是基于Python生态，灵活性高，支持分布式爬虫和异步请求，而且有多种扩展，能满足复杂采集需求，适合做企业级爬虫部署。
2025-03-10 15:29:00
2915
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人