
python
致最长的电影
真正的勇气是上帝给你的一切!
展开
-
【异常】selenium和webdriver中点击按钮不起效果
问题场景:browser.find_element_by_id('reportSearch').click()上述图片,当进入到该页面时,点击查询不起作用,但是在页面上细看是已经点击了的,可能是失去焦点了解决办法先聚焦焦点,可以先点击一下它的别的地方,然后再点击查询按钮# 先聚焦焦点browser.find_element_by_class_name('trw-table-s1').click()time.sleep(1)browser.find_element_by_id(原创 2020-11-11 14:54:21 · 736 阅读 · 0 评论 -
GitHub模拟登录
参考书籍:python3网络爬虫开发与实战 作者个人博客:https://cuiqingcai.com/需要的工具:requests库,puquery库概要:打开网页然后模拟登录,实际上是在客户端生成了Cookies,而cookies里面保存了SessionID的信息,登录之后的后续请求都会携带生成后的Cookies发送给服务器。服务器就会根据Cookies判断出对应的Sessio...原创 2019-10-03 14:00:43 · 302 阅读 · 0 评论 -
IP代理池的使用
参考书籍:python3网络爬虫开发与实战 作者个人博客:https://cuiqingcai.com/下载IP代理池的程序,其作者放在了GitHub:https://github.com/Python3WebSpider/ProxyPool需要的工具:pycharm、各种库、python37、redis安装、redis可视化工具(在参考书籍作者博客中都有安装方法)1、下载IP...原创 2019-10-02 14:47:34 · 2285 阅读 · 0 评论 -
python爬虫代理的不同设置
以下内容分为1、urllib库代理的设置 2、requests库代理的设置 3、selenium+chrome代理的设置1、urllib库的代理的设置#对于urllib设置代理from urllib.error import URLErrorfrom urllib.request impor...原创 2019-10-02 12:28:23 · 344 阅读 · 0 评论 -
Selenium+Chrome爬取淘宝美食商品并存入MongoDB数据库中
Selenium自动化测试工具,支持多种浏览器,主要用来解决JavaScript渲染的问题需要的工具:Pycharm、python37、Chromedriver环境配置好、Chrome浏览器、Selenium库、MongoDB可视化工具、pymongo库参考的书籍:python3网络爬虫开发与实战---崔大神Selenium+Chrome爬取淘宝美食并存入MongoDB数据库中...原创 2019-09-30 15:51:28 · 1222 阅读 · 0 评论 -
今日头条组图下载本地,并存入MongoDB
我是跟着崔大神的视频进行学习的,这是他的一个案例,一步一步敲,代码肯定是没有问题的,肯定能学到一点东西,注释不想加了,下面自己一步一步完成的。(代码注释的部分,是为了测试,时常打印一下信息,看有没有问题)流程框架:爬取索引页内容:利用requests请求目标站点,得到索引网页HTML代码,返回结果 抓取详情页内容:解析返回结果,得到详情页的链接,并进一步抓取详情页的信息 下载图片并保存...原创 2019-09-29 15:01:21 · 664 阅读 · 0 评论 -
pycharm连接MySQL数据库
使用pymysql库的时候,查找资料有下面几个,都是实用的,只是搜集了一下1、链接:https://blog.youkuaiyun.com/bobo553443/article/details/813831942、链接:https://blog.youkuaiyun.com/u014417138/article/details/83052962还有用到MySQL的环境变量的配置,这篇文章我只用了环境配置的...原创 2019-09-11 13:36:50 · 242 阅读 · 0 评论 -
python+sqlite3学生信息管理系统
此文章非原创,只是自己百度和修改,看别人的都不能运行,需要自己修改,为了像我这样的同学少走一些弯路,给大家一些参考。import sqlite3cx = sqlite3.connect('D:/student3.db')cx.execute( '''CREATE TABLE StudentTable( ID INTEGER PRIMARY KEY...转载 2018-04-21 22:32:56 · 6174 阅读 · 5 评论