qq_40071924的博客

python 爬虫 使用xpath模块爬取猪八戒网站信息 # coding:utf-8 #1.拿到页面源代码 #2.提取和解析数据 import requests from lxml import etree import csv url = "https://qingdao.zbj.com/search/f/?type=new&kw=saas" resp=requests.get(url) # print(resp.text) html=etree.HTML(resp.text) f = (ope

Python bs4的基本使用，爬北京市场菜价 # coding:utf-8 from bs4 import BeautifulSoup import requests import csv #1.拿到页面源代码 #2.使用bs4进行解析，拿到数据 url = 'http://www.xinfadi.com.cn/' resp=requests.get(url) resp.encoding='utf-8' f = (open("xfd_data.csv", mode="w")) csvwriter = cs

Python爬取优美图库的图片并下载到img文件夹中 # coding:utf-8 # 1.拿到主页面的源代码,然后提取到子页面的链接地址 href # 2.通过href拿到子页面内容，从子页面中找到图片的下载地址 img->src # 3.下载图片 import requests from bs4 import BeautifulSoup import time url = "https://www.umei.cc/bizhitupian/weimeibizhi/" resp = requests

运行后 导出到data.csv文件内 看着教程写的，有很多地方还需要优化，运用了re模块和requests模块 # coding:utf-8 # 1.首先拿到页面源代码 # 2.通过 re模块 来进一步提取信息 import requests import re import csv # 数据分析 for i in range(0, 10): url = "https://movie.douban.com/top250?start="+str(i*25) ua = { "