Meggie35的博客

本文介绍了一个Python定时停止程序的方法 ，适用于需要控制爬取时长的场景

在火狐浏览器安装影刀RPA插件时出的问题

解決seleniu爬取遇到的問題

查询电脑网络IP地址的方法汇总

能不能让selenium也能像Beautifulsoup一样，可以根据html的结构找到需要的部分，并解析出来?

跳转到目标特定的网址的时候，会被强制跳转到其他的网址上，但是如果是自己手动，在网址栏那里输入网址，并点回车，却能完成跳转。

模拟人类在整个网页操作的行为的整理

在使用 Selenium 自动化测试或爬取网页时，可能会遇到弹窗，影响脚本执行，例如广告、登录提示、浏览器通知。

防止网络检测的方法汇总

使用selenium爬虫的时候，如果不加入代理IP，很容易会被网站识别，容易封号；使用代理ip的一些整理

我在写爬虫的时候，经常会因为点击浏览太多的页面，而导致很多的cookies累积。以下是解决的方法

selenium切换标签页的方法

处理selenium爬取下的，NoSuchWindowException的方法

我在使用selenium弄模拟登陆，需要模拟输入账号和密码，往往都使用selenium的send_keys函数。可是我昨天在写测试的时候，有时候有些网站，居然使用send_keys函数，无法在输入框里输入文字！在Python中，你可以使用多种方式来模拟键盘输入。

分享几种在Python中根据页面长度模拟滚动鼠标的操作方法。

我们在写selenium获取网络信息的时候，有时候我们会受到对方浏览器的监控，对方通过分析用户行为模式，如点击、滚动、停留时间等，网站可以识别出异常行为，进而对Selenium爬虫进行限制。这里我们可以加入JavaScript的使用。Selenium可以执行JavaScript，通过使用方法，来执行点击操作。它可以绕过一些 Selenium 直接操作元素时可能遇到的问题，比如或者需要更复杂的交互。

在使用python模拟爬取的时候，解决滑动验证码是不可缺少的环节。怎么解决滑动验证码的问题呢，我们可以试着使用这个方法。

一直都发现lambda函数非常好用，它可以用简洁的方式编写小函数，无需写冗长的过程就可以获取结果。干脆利落！它允许我们定义一个匿名函数，在调用一次性的函数时非常有用。最近整理了一些，lambda函数结合或者selenium 的库，来解析HTML，并提取任意标签下的元素的方法。

我们在使用Selenium获取网页元素的时候，有时候会遇到网页要加载刷新，要用鼠标下拉滚动鼠标更新页面，才能显示到我们需要的元素。这时候就要模拟向下拖动、下拉按钮或者滚动操作了。

有时候 ，我们在使用selenium获取网页信息的时候，如果想要获取表格，用常用的pandas 的read_html，会遇到无法绕开登录等问题，无法进入下一个页面获取表格。所以这里分享使用 Selenium的 find_element的方法获取表格！

最近，我在获取网址登陆的过程中，遇到了下面的问题： “Found process 12372 - chrome.exe listening on port 10222”，下面是解决方法

发现了一个使用Selenium的模块，快速获取文字和表格的方法，很实在，以后爬网的时候，就不用beautifulSoup 和 pandas的read_html 混起来用了！

除了使用Beautifulsoup来解析，还可以直接用Selenium库打印节点（元素）名称，用来获取元素的文本内容或者标签名。这种方法可以写判断节点结构。

在测试网页运行爬取的时候，最害怕的就是遇到弹窗。有时候也不能忽略，因为如果不把它去掉，获取页面的元素就会失败

使用find_element得通过一层层地查找，可以快速找到节点信息。

想要模拟人在一个字一个字地敲键盘，让输入框一个字一个字得打出来

如果我们要了解某个元素在整个屏幕中的位置，例如滑动验证码的滑块之类的。这就像是在网页上画了个直角坐标系，找到它在网页或者电脑屏幕的横坐标和纵坐标的位置，就像是在地图上找到我们所在的位置一样，定位到那个元素的位置。

进行自动化测试的时候，有时候会使用获取网页的大小做一些计算，计算定位元素，电脑屏幕像素、尺寸等信息

Flask运行接口遇到的问题

使用pyautogui在模拟鼠标移动和键盘交互的时候，一旦鼠标移动，可能就会发生这个异常FailSafeException

如果直接通过css_selector或者xpath的元素来点击验证按钮，无法通过验证的话，可以模拟鼠标点击的方法，这样更像模拟人类的行为。

解决html中提取空白行下的文本的内容

解决谷歌浏览器自动更新后，影响selenium的chromedriver驱动的解决方法，分为下载历史浏览器和自动下载当前浏览器对应的驱动

最近，我发现selenium 的webdriver包最近改的有点看不懂了，原本的find_element（By.ID,“”），已经用不了了！不清楚为啥这个包会更新成这个样子

获取网页源码进行解码过程中，遇到“gbk”编码的问题，以及对gzip的了解