【八月长安tsliao】的博客

因工作需要监控竞争对手产品的价格调整，所以用Python写了改价自动钉钉群提醒的脚本。以下是实现原理数据库准备本人使用的mysql：创建了三张表：1、数据源表：最初的产品价格表2、匹配表：跟数据源表进行价格匹配3、更新表：记录更新的价格记录工具（Python爬虫）将最初的数据抓取存入数据源表中，作为数据匹配源；然后进行第二次数据抓取存取匹配表中，跟源表数据进行匹配；通过sql...

selenium模拟登录获取cookie提取数据Python3 爬虫selenium模拟登录获取数据Python3 爬虫因为工作需要selenium爬取数据，所以写一下自己的整个流程以及过程中踩过的坑，希望能帮到大家！selenium模拟登录获取数据如果不行自动化窗口弹出，添加option就可以实现，因为我是设置定时执行的，所以每次弹出很不方便。这里遇到的第一个坑，是element定位账...

replace 替换字符串中的特殊符号数据中含有逗号，需要把它去掉，代码如下：result = '45,4564'result = str.replace(result,",",'')print(result)正则匹配数据中的数字一开始用XPATH提取的result用下面re进行匹配：results = re.findall(r"\d+\.?\d*",result)匹配之...

import itchatimport pandas as pd# 先登录itchat.login()# 获取好友列表friends = itchat.get_friends(update=True)[0:]#number_friends = itchat.get_friends(update=True)number_of_friends = len(friends)# 初始化计...

搭建代理池作用平时我们爬取网站的时候，如果太频繁，容易导致IP被封。所以搭建代理池，每次随机获取可用的代理，伪装成其它IP去访问网站，能够有效防止爬虫被封禁，让爬虫脱离IP被封的苦海。代理有很多免费的网站，但是不稳定。付费的代理池会相对稳定很多，具体看个人需求。搭建代理池的准备工作安装Redis数据库、此外Python要安装：aiohttp、requests 、redis-py 、pyqu...

安装好Scrapy包然后进入进入cmd窗口进行以下操作：scrapy startproject BossObject根据提示输入：cd BossObject进入目录scrapy genspider 项目名称 域名最后这个Scrapy项目就已经创建完成了。...