
爬虫
Pythoncf
还是小白
展开
-
urllib下载图片
```pythonfrom selenium import webdriverfrom lxml import etreefrom urllib import requestfrom selenium.webdriver.common.by import Byfrom selenium.webdriver.support.ui import WebDriverWaitfrom selenium.webdriver.support import expected_conditions as EC.原创 2020-09-22 15:44:33 · 407 阅读 · 0 评论 -
selenium爬取淘宝店铺数据
这里爬取的是某宝店铺的商品,获取的是框框里面的信息(百丽的信息)价格累计评价销量活动名称连接运行方式:1。会自动弹出一个浏览器,打开淘宝2。然后会弹出一个登入界面(手机扫描登入),输入账号会有验证,扫描快一些。.3.会自动的选择店铺(店铺有时会没点击,没点击的话要返回手动点击店铺输入店铺名称,然后手动点击搜索),输入店铺名字,然后点击搜索,会打开下面界面4.然后会自动点击第一个店铺,会在另一个窗口弹出,会自动等待会,然后会自动点击所有宝贝。5.然后会在第三个界面打开下图,又需原创 2020-09-22 15:39:06 · 3211 阅读 · 1 评论 -
拉勾网翻页爬行插入数据库表
import reimport pymysqlimport randomfrom time import sleepfrom lxml import etreefrom selenium import webdriverfrom selenium.webdriver.common.by import Byfrom selenium.webdriver.support import expected_conditions as EC # available since 2.26.0from原创 2020-09-20 00:12:40 · 159 阅读 · 0 评论 -
python爬取拉勾网的数据插入mysql数据库
#一.数据库的准备1,mysql的安装(网上有很多教程)2.创建数据库(我这是用的Navicat创建的)注意:创建后的数据库要检查数据库的编码,编码要改成(utf8)不然后面插入中文字符到 表里会出库##二。创建对应的表###三。代码补上(win7系统,python3.7版本)```pythonimport pymysqlconn = pymysql.connect(...原创 2019-11-22 11:13:41 · 435 阅读 · 0 评论 -
前程无忧数据的爬取
这里是爬取前程无忧的数据,需要用的知识点是lxml,selenium模块的学习,这里只是简单的爬取了一页数据,还需后面更新。import reimport timefrom lxml import etreefrom selenium import webdriverfrom selenium.webdriver.common.keys import Keysclass JobSpid...原创 2019-10-21 15:19:40 · 2506 阅读 · 2 评论 -
selenium 笔记
使用selenium前要配置好,具体配置看上篇文章```pythonimport timefrom selenium import webdriverfrom selenium.webdriver.common.keys import Keysdriver = webdriver.Chrome() ##获取谷歌驱动driver.implicitly_wait(4) #设置隐试时间...原创 2019-10-10 17:29:43 · 139 阅读 · 0 评论