
SpiderFlow
文章平均质量分 89
进击的雷神
优快云博客专家、担任过EMV软件工程师、嵌入式软件工程师、JAVA开发工程师、测试开发工程师、某公司测试组长,有自己的测试专利
展开
-
SpiderFlow平台v0.5.0之引入selenium插件
确保 Firefox 已安装且可执行。检查 Firefox 的路径并确保在环境变量PATH中。下载与 Firefox 版本兼容的并配置正确的路径。按照这些步骤,你应该能够解决的问题。如果问题依然存在,可能需要重新检查 Firefox 和的安装路径配置。2、浏览器启动失败是 Selenium 中常见的错误之一。这个错误通常发生在 WebDriver 启动浏览器时,浏览器驱动(例如)未能正确启动,或者浏览器本身遇到了启动问题。错误的状态码1表示程序退出时发生了异常。有头模式。原创 2025-01-14 20:20:41 · 1433 阅读 · 0 评论 -
SpiderFlow平台v0.5.0之数据库连接
DriverClassName 插件需要正确指定数据库的驱动类名。JDBC 驱动 JAR 文件应放置在 SpiderFlow 的lib目录下。确保你的数据库连接配置正确,并在必要时重启 SpiderFlow。首先检查SpiderFlow的管理界面是否有数据库驱动的上传选项。如果没有,尝试将驱动 JAR 文件手动添加到系统目录(如确保数据库配置文件中的和其他数据库连接参数正确。查看SpiderFlow的官方文档或社区支持,了解更多平台特定的配置方法。原创 2025-01-02 22:35:13 · 1137 阅读 · 0 评论 -
SpiderFlow平台v0.5.0爬取动态渲染的页面
SpiderFlow提供了图形化界面,可以方便地配置爬取任务和数据处理流程。在图形化界面中,你可以选择创建自定义 Python 运算符来实现动态页面的抓取。在SpiderFlow的工作流编辑器中,选择创建一个新的 Python 运算符。在该运算符中,加入上面提到的Selenium或代码。配置运算符的输入输出,确保抓取的数据可以传递给下一个步骤(如存储或数据清洗)。在Selenium:通过模拟浏览器,适合大部分复杂的动态渲染页面。:适合轻量级的动态渲染页面,支持简单的 JavaScript 执行。原创 2025-01-02 08:00:00 · 943 阅读 · 0 评论 -
SpiderFlow平台v0.5.0内置变量及自定义函数
在开发爬虫的过程中,发现无法使用现有函数完成想要的功能,也不想在java中开发,此时就可以考虑使用自定义函数,自定义函数的语法是JS(Java Nashorn引擎)在表达式中使用,这里还是使用实例来说明,假设我们有这样一个需求,根据我们抓取到的风速数据(单位m/s)转换成风力等级,每个等级对应一个区间,使用自定义函数实现结果的输出。先看下自定义函数界面结构,如下图:函数名称、参数、函数体。这里的函数体使用js语法,支持function调用。if(!原创 2025-01-01 22:12:32 · 480 阅读 · 0 评论 -
SpiderFlow平台v0.5.0表达式语法
模板语言支持大多数Java运算符。这些运算符的优先级也与Java中的相同。与Java中一样,您可以无限嵌套成员,数组元素和映射访问。本项目中表达式引擎也支持模板的方式,例如动态拼接url。就像Java中一样,运算符也是一种短路运算符。语句的简写形式,其工作方式类似于Java中,例如。同时也支持定义Map和List。左侧为true,则不会计算右边。要取反布尔表达式,可以使用。支持常见的算术运算符,例如。原创 2025-01-01 21:53:24 · 932 阅读 · 0 评论 -
SpiderFlow平台v0.5.0流程的执行过程
很容易就能看出流程执行过程是:A->B->C->D,但由于A节点是循环,假设A节点循环次数是3,那么此时执行过程会变成A,A,A->B,B,B->C,C,C->D,D,D(3个A一起执行,但是顺序不固定,每执行完一个就会直接流向下一个节点,而不是等3个A都结束),当D,D,D都执行完毕时,由于没有流向下一个节点,此时整个流程结束。比如,若返回的页面包含某些特定关键词,则执行某个节点,反之则跳过。由于C节点是循环节点,假设C节点循环次数是3次,则上方从C节点开始则变成C,C,C->F,F,F->G->H。原创 2024-12-23 18:21:51 · 1058 阅读 · 0 评论 -
SpiderFlow平台v0.5.0基本节点功能认识
该节点用于定义变量之后,可以与表达式配套使用,实现动态设置各项参数(如动态请求分页地址)变量名:变量的名字,当变量名重复时,会覆盖前一个变量变量值:变量的值,可以是常量,可以是表达式节点名称:用来显示节点名称,可以用来区分各个节点用途循环次数:当此项有值时,后续节点(包括本节点)会循环执行循环变量:当循环时,会产生下标(从0开始)以该值存入变量中,与for(int i =0;i++)中的i意义相同。原创 2024-12-23 13:53:55 · 893 阅读 · 0 评论