- 博客(43)
- 收藏
- 关注
原创 Windows IntelliJ IDEA快捷键
IntelliJ IDEA的Windows快捷键非常丰富,涵盖了代码编辑、调试、导航、重构等多个方面。以下是一些常用的快捷键及其功能说明:
2024-08-14 09:50:03
2501
原创 Java通信?网络编程
Java 的网络编程是一个广泛的主题,它允许 Java 应用程序与网络上的其他设备进行通信。这通常涉及到使用 Java 的网络 API 来实现客户端和服务器之间的数据传输。Java 提供了一套丰富的类和接口,如 java.net 和 java.nio 包,来支持网络编程。
2024-08-11 22:37:22
3138
原创 爬虫中XPath的应用与元素定位
在爬虫开发中,XPath是一种强大的语言,用于在XML和HTML文档中查找信息。它允许开发者通过定义路径表达式来选取文档中的节点或节点集。在网页爬虫中,XPath常用于精确定位和提取页面上的数据。本文将详细介绍XPath的基础语法、常见用法以及如何在爬虫中利用XPath获取页面元素。
2024-08-07 11:14:00
2453
原创 爬虫数据源元素获取——CSS选择器深入理解与应用
在爬虫开发中,CSS选择器是一种非常重要的工具,它允许开发者以高效且精确的方式定位和提取HTML文档中的元素。本文将详细介绍CSS选择器在爬虫过程中的应用,包括基本选择器、层次选择器、属性选择器、伪类选择器以及伪元素选择器的使用方法和示例。
2024-08-07 10:08:11
3278
原创 一些常见的自动化测试工具及其特点
此外,还有testRigor、Xray、Zephyr Enterprise、Testpad、SpiraTest、PracticTest等也是市场上常见的自动化测试工具。概述:Selenium是一套用于Web自动化测试的工具,支持多种浏览器(如Chrome、Firefox、Safari等)和多种编程语言(如Java、Python、C#等)。概述:Katalon Studio是一个免费的自动化测试解决方案,专为Web、API和移动应用程序测试而设计。
2024-08-06 14:01:41
5324
原创 Python就业?知识点够了吗!
一、Python编程基础语法与数据类型:熟练掌握Python的基本语法、变量、数据类型(如整数、浮点数、字符串、列表、元组、字典、集合等)。控制结构:理解并熟练运用条件语句(if-else)、循环语句(for、while)等控制结构。函数与模块:掌握函数的定义、调用、参数传递(位置参数、关键字参数、默认参数、可变参数等)、递归函数以及模块和包的使用。面向对象编程:理解面向对象编程的基本概念,包括类、对象、继承、封装和多态等,并能够运用这些概念解决实际问题。二、进阶技能数据结构与算法:深入学
2024-08-06 11:34:10
3128
原创 Spring Cloud 学习笔记四:服务网关(Gateway)
Spring Cloud Gateway 是基于 Spring Framework 5, Project Reactor 和 Spring WebFlux 的 API 网关,它为微服务架构提供了一种简单而有效的方式来路由和过滤请求。Spring Cloud Gateway 不仅具备传统网关的功能,如路由转发、负载均衡等,还通过提供丰富的路由匹配和过滤功能,使得开发者可以轻松地实现复杂的路由逻辑和请求处理流程。可以通过实现 GlobalFilter 或 GatewayFilter 接口来创建自定义过滤器。
2024-08-05 13:57:27
5392
原创 Spring Cloud 学习笔记三:负载均衡
负载均衡是指将网络请求或网络流量分散到多个服务器或网络节点上,以提高系统的整体处理能力和可用性。在微服务架构中,负载均衡器通常部署在客户端和服务提供者之间,负责将请求智能地分发到各个服务实例上,以确保没有单个服务实例过载,同时最大化资源利用率。Spring Cloud LoadBalancer允许开发者通过实现ReactorLoadBalancer接口来自定义负载均衡策略。开发者可以根据业务需求,编写复杂的负载均衡逻辑,以满足特定的需求。
2024-08-05 11:33:37
11025
原创 爬虫代理的使用:提升爬虫效率
在网络爬虫的开发过程中,经常会遇到网站的反爬虫机制,如IP封禁、请求频率限制等。为了应对这些问题,使用爬虫代理(Proxy)成为了一种常见的解决方案。爬虫代理不仅可以绕过IP封禁,还能隐藏爬虫的真实IP地址,增加爬虫的匿名性。本文将详细介绍爬虫代理的基本概念、类型、使用场景以及如何在Python爬虫中集成代理。
2024-08-04 14:53:05
1438
原创 爬虫数据模拟真实设备请求头User-Agent生成(fake_useragent:一个超强的Python库)
在Python开发中,处理HTTP请求时经常需要模拟不同的用户代理(User-Agent)来绕过网站的反爬虫机制或进行兼容性测试。fake_useragent正是这样一个强大的Python库,它能够生成随机且多样化的用户代理字符串,让你的请求看起来更像是来自真实用户的浏览器或设备。本文将详细介绍fake_useragent库的安装、使用方法以及它在爬虫开发中的应用。
2024-08-04 13:37:52
9126
原创 Python图形验证码的识别:一步步详解
在Web开发和自动化测试中,图形验证码的识别是一项常见且重要的任务。图形验证码作为防止自动化攻击的一种手段,通过随机生成包含字符或数字的图片来增加用户验证的难度。然而,对于需要自动化处理的场景,如Web自动化测试或爬虫,图形验证码的自动识别显得尤为重要。本文将详细介绍如何使用Python来识别图形验证码。
2024-07-31 17:39:14
16136
1
原创 Selenium自动化测试实战:从入门到实践
首先,确保你的环境中已安装Python。接下来,下载与你的浏览器版本相匹配的WebDriver,并将其路径添加到系统的环境变量中,或在Python脚本中直接指定WebDriver的路径。
2024-07-31 15:21:20
12510
原创 爬虫实战:数据请求与解析(4种不同方式的数据解析)
在爬虫开发中,根据网页的复杂度和个人喜好,可以选择不同的数据提取方法。正则表达式虽然强大但不够灵活,适合处理简单的文本数据。BeautifulSoup 和 pyquery 提供了更直观、更易于理解的API来操作HTML,适合处理复杂的网页结构。XPath 则以其强大的查询能力著称,尤其适合需要精确匹配和复杂查询的场景。选择哪种方法,需要根据实际情况和个人偏好来决定。希望本文能帮助你更好地理解和使用这些工具,在爬虫开发中事半功倍。
2024-07-30 17:35:21
7019
原创 使用正则表达式进行爬虫数据提取:基础指南
正则表达式是爬虫开发中不可或缺的工具,它可以帮助我们精确地提取网页中的信息。掌握正则表达式的基础语法和Python中的re模块使用方法,对于提高爬虫开发的效率和准确性具有重要意义。希望本文能为你提供一个良好的正则表达式入门指南。
2024-07-30 14:00:34
11180
原创 使用requests库进行网络爬虫:入门指南
有时候,服务器会根据请求头中的信息来响应请求。你可以通过headers参数自定义请求头。本文介绍了如何使用requests库进行基本的网络爬虫操作,包括发送GET和POST请求、处理响应、自定义请求头和参数,以及异常处理。这只是requests库功能的冰山一角,更多高级用法(如会话对象、Cookie处理、代理设置等)等待你去探索。希望这篇文章能为你的爬虫之旅提供一个良好的起点。
2024-07-30 13:49:06
5015
原创 爬虫基本库的使用之使用urllib
urllib是Python标准库中用于处理URL的模块集合,包含多个模块,如urllib.request、urllib.parse、urllib.error等。其中,urllib.request用于发送HTTP请求,urllib.parse用于解析URL,urllib.error用于处理请求过程中出现的异常。# 目标URL# 发送GET请求# 读取响应内容# 打印响应内容# 关闭响应对象# 目标URL# 发送GET请求# 读取响应内容# 打印响应内容# 关闭响应对象。
2024-07-26 10:08:05
7906
原创 爬虫代理基本原理
代理服务器(Proxy Server)是一种位于客户端和服务器之间的网络服务器,它接受客户端的请求并将其转发给目标服务器,然后将服务器的响应返回给客户端。简而言之,代理服务器是网络信息的中转站。
2024-07-26 09:38:46
7884
原创 以爬虫的角度看待Session与Cookies
在爬虫(Web Spider或Web Crawler)的世界里,Session和Cookies扮演着至关重要的角色,尤其是在处理需要用户登录、状态保持或个性化内容的网站时。爬虫通过模拟人类浏览器的行为来访问网站,并收集所需的数据。在这个过程中,理解和合理利用Session与Cookies对于爬虫的成功至关重要。
2024-07-26 09:17:12
1575
原创 爬虫基本原理入门
爬虫(Web Crawler),又称为网络爬虫或网页蜘蛛,是一种按照一定的规则,自动地抓取万维网信息的程序或者脚本。它们可以模拟浏览器行为,遍历网页并抓取网页中的信息,如文本、图片、链接等。接下来,我们会尝试使用Python等编程语言,结合相关库和工具,动手编写自己的爬虫程序,探索更多关于爬虫技术的奥秘。
2024-07-25 15:46:04
2387
原创 爬虫基础之HTTP基本原理
HTTP(HyperText Transfer Protocol,超文本传输协议)是互联网上应用最为广泛的一种网络协议,用于从Web服务器传输超媒体文档(如HTML)到本地浏览器的传输协议。HTTP建立在TCP/IP协议之上,是一个客户端和服务器端请求和应答的标准(TCP)。
2024-07-25 15:16:05
1849
原创 Python爬虫开发中的常用库与框架安装指南
BeautifulSoup是一个用于从HTML或XML文件中提取数据的Python库。它创建了一个解析树,可以用来方便地提取数据、修改标签或搜索文档。安装命令。
2024-07-24 15:27:19
1676
1
原创 Python自动化测试之Selenium各浏览器驱动下载网址
(1)Chrome浏览器驱动(chromedriver ):(2)Firefox浏览器驱动(geckodriver):(3)Edge浏览器驱动(MicrosoftWebDriver):(4)IE浏览器驱动(IEDriverServer):(5)Opera浏览器驱动(operadriver):(6)PhantomJS浏览器驱动(phantomjs):
2024-07-24 15:08:48
1686
原创 网络入门基础:从零开始了解互联网世界
网络是指将多台计算机或设备通过传输介质(如光缆、电缆等)相互连接,实现信息共享、通信和协同工作的系统。网络按照覆盖范围可分为局域网、城域网、广域网和互联网等。其中,互联网是全球最大的、覆盖范围最广的网络,它将世界各地的计算机和设备连接在一起,形成一个庞大的信息交流平台。网络入门基础是了解互联网世界的第一步。通过本文的介绍,我们了解了网络的基本概念、组成、接入方式以及网络安全与隐私保护等方面的知识。希望这些内容能够帮助初学者更好地认识网络,为未来的网络学习和应用打下坚实的基础。
2024-03-26 22:16:54
2517
原创 大数据与AI:开启智能时代的融合之旅
在数字化浪潮席卷全球的今天,大数据和人工智能(AI)已经成为推动社会进步和经济发展的重要引擎。这两者之间的深度融合,正在为我们带来前所未有的机遇与挑战。本文将探讨大数据与AI的关系,以及它们在各个领域的应用和未来发展前景。
2024-03-25 22:49:04
1266
1
原创 Spring Boot的基础知识和应用
Spring Boot是由Pivotal团队提供的一个全新框架,其设计目的是用来简化新Spring应用的初始搭建以及开发过程。该框架使用了特定的方式来进行配置,从而使开发人员不再需要定义样板化的配置。通过这种方式,Spring Boot致力于在蓬勃发展的快速应用开发领域(rapid application development)成为领导者。1.创建独立的Spring应用Spring Boot可以创建可执行的JAR或WAR文件,这些文件是生产级别的应用,无需任何外部依赖服务器即可运行。
2024-03-25 22:45:53
3202
2
原创 Maven的基础知识和应用
如果A依赖于B,B又依赖于C,那么当我们在项目中引入A时,Maven会自动将B和C也作为依赖引入,这就是依赖的传递性。该文件使用XML格式,包含了项目的所有配置信息,例如项目的基本信息(如groupId、artifactId、version等)、依赖关系、构建插件、目标平台、项目构建生命周期定义等。在一个多模块项目中,每个模块都是一个独立的Maven项目,有自己的POM文件和构建生命周期。在POM中,开发者可以声明项目的依赖关系,Maven会自动从仓库中下载这些依赖,并添加到项目的classpath中。
2024-03-24 21:38:57
703
1
原创 Spring Cloud原理详解
Spring Cloud是一个基于Spring Boot的开源微服务框架,用于构建分布式系统。它提供了一系列的服务治理和集成方案,帮助开发者快速构建出稳定可靠的分布式应用。
2024-03-24 16:36:42
768
1
原创 JavaScript初识及基本语法详解
示例:假设你正在开发一个在线购物网站,当用户点击“添加到购物车”按钮时,你可以使用JavaScript来动态更新购物车中的商品数量,并显示给用户,而不需要重新加载整个页面。示例:当你打开一个网页,看到动态的页面效果、交互式的表单验证或是实时更新的数据,这些都可能是JavaScript在幕后工作的结果。通过不断学习和实践,你将逐渐掌握 JavaScript 的基本语法和常用特性,为前端开发打下坚实的基础。:了解前端框架(如 React、Vue)、构建工具(如 Webpack)等,提升开发效率。
2024-03-24 15:50:09
719
1
原创 ECMAScript和JavaScript的区别
再次,从更新和发展来看,ECMAScript标准是不断更新和发展的,新的版本会引入新的特性和功能,例如ES6(ECMAScript 2015)就引入了类、模块、块级作用域(let const)、箭头函数等功能。而JavaScript则是基于ECMAScript规范的一种实现,也就是说,JavaScript遵循ECMAScript的语法和规则,是ECMAScript的一种具体表现形式。最后,从编程特性和扩展性来看,ECMAScript定义了JavaScript的语法、数据类型、函数等基本特性。
2024-03-24 15:37:48
599
1
原创 npm常用命令详解
这些命令只是npm功能的冰山一角,实际上npm的功能非常丰富,几乎涵盖了Node.js项目开发和包管理的各个方面。为了更深入地了解npm,建议您查阅npm的官方文档,那里提供了最全面和最准确的命令解释和用法说明。npm(Node Package Manager)是Node.js的包管理器,用于安装、更新、删除和管理Node.js模块和包。:清除npm缓存,通常用于解决某些难以复现的依赖问题。参数是强制清除缓存,使用时请谨慎。
2024-03-24 15:25:36
2238
1
原创 SpringCloud学习笔记二:服务间调用
微服务中,很多服务系统都在独立的进程中运行,通过各个服务系统之间的协作来实现一个大项目的所有业务功能。服务系统间 使用多种跨进程的方式进行通信协作,而RESTful风格的网络请求是最为常见的交互方式之一。在上一篇文章中我们介绍了服务的注册与发现,在此基础上我们将之前创建的eureka-client作为服务消费方创建一个服务提供方。
2024-03-24 14:54:29
5432
1
原创 Java开发环境搭建(Jdk安装)
点击浏览选择刚刚安装文件夹下的bin文件,点击确定,然后一路点击确定返回完成配置。找到系统变量的Path点击编辑。点击新建添加一个空白位置。
2024-03-22 14:22:14
1003
1
原创 Java学习一:Java简介
Java具有跨平台性,一次编写,到处运行,这是Java最大的优势。例如,java.util包提供了各种实用的工具类,如集合类(ArrayList, HashSet等)、日期处理类(Date, Calendar等)。JDK包含了Java的运行环境(JRE)和Java的一些开发工具。学习Java的过程中,可以参考一些优秀的教程和书籍,如《Java编程思想》、《Java核心技术》等。Java是一种功能强大且易于学习的编程语言,通过掌握Java的基础语法和面向对象编程思想,我们可以编写出各种复杂的程序。
2024-03-22 13:01:14
1794
1
原创 Java常用方法类及简单示例
Java是一种功能强大的编程语言,提供了大量的内置方法和类库,以便开发者能够高效地构建各种应用程序。以下是一些简单的方法示例。
2024-03-22 12:56:15
960
1
原创 Linux常用命令
Linux系统以其强大的稳定性和开源的特性,受到了广大开发者和技术人员的喜爱。在Linux中,命令行操作是不可或缺的一部分。掌握一些常用的Linux命令,将大大提高你在Linux系统中的工作效率。下面,我将为大家介绍一些Linux常用的命令,包括文件编辑、保存等操作。
2024-03-21 19:59:20
1393
1
原创 Linux项目部署及远程调试(单个Java方法)
2.确定该目录下有打包好的jar包后,执行以下命令运行jar包(LatitudeAndLongitudeJudgment是作者打包的jar包文件名,请替换成自己的,xxx.log是输出日志的名称,该名称随意。1.将该Jar包复制到Linux能找到的目录下,例如作者的是/usr/local下,执行cd filename(文件路径)打开该目录。2.确定jar包运行的情况下,输入以下命令监听端口号3001远程调试(端口号可更改为任意未被占用的端口,jar包名称请更换为自己的)。选择到该方法,点击OK并应用。
2023-10-27 21:20:15
2561
1
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人