
Python爬虫
程序帝国
一个 还没有向生活低头的傻子
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
python模拟浏览器查找元素常用方法
查找元素from selenium import webdriverbrowser = webdriver.Firefox()browser.get("https://tieba.baidu.com/index.html")new_list = browser.find_element_by_id('new_list')user_name = browser.find_element_by_name ('user_name')active = browser.find_element_by_原创 2020-12-03 16:35:51 · 776 阅读 · 0 评论 -
Python编写网络爬虫带model
Python编写网页爬虫带model以http://zuidazy.net电影网站为例,实现步骤如下:一、分析网站:分析网站的代码结构:如网址,需要采集的代码取,建设使用谷歌浏览器如图:解释:1.为网址栏,分析网址的相同部分及不同部分2.为按F12查看源码,为需要采集的代码二、编写网站所有网页的遍历如下(文件名称:index.py)from reptileTest import q...原创 2018-11-22 19:36:53 · 970 阅读 · 0 评论 -
使用python抓取网站图片,下载到本地
使用python抓取网站图片,下载到本地看代码import osimport randomimport urllib.requestdef imgs(url): try: rep = urllib.request.Request(url) res = urllib.request.urlopen(rep) html = res....原创 2018-11-29 19:37:14 · 759 阅读 · 2 评论 -
BeautifulSoup之Css样式选择器
BeautifulSoup之Css样式选择器1、通过标签选择# 选择所有title标签soup.select("title")# 选择所有p标签中的第三个标签soup.select("p:nth-of-type(3)") 相当于soup.select(p)[2]# 选择body标签下的所有a标签soup.select("body a")# 选择body标签下的直接a子标转载 2018-12-05 20:35:57 · 899 阅读 · 0 评论