import requests
#导入requests库,起到访问作用
# import random
#这个库是随机选择作用,这个爬虫先不用
from fake_useragent import UserAgent
#导入请求头库,构造随机请求头
from bs4 import BeautifulSoup
#导入bs4库搜索内容,解析requesets请求的网页
headers={
'User-Agent':UserAgent().chrome
}
#构造随机请求头
url = 'http://bj.xiaozhu.com/'
#访问的网站网址
res = requests.get(url,headers=headers)
#请求网站网页
soup = BeautifulSoup(res.text,'html.parser')
#定义soup,然后解析网站网页
prices_list =soup.findAll('span',attrs={'class':'result_price'})
for prices in prices_list:
print((prices.text))
print('--------------------------------------')
prices1 =soup.select('#page_list > ul > li > div.result_btm_con.lodgeunitname > span.result_price > i')
for prices2 in prices1:
print(prices2.text)
一个是通过findall方法,一个是通过select方法查找,两种方法查找单一页面的价格,select方法是从谷歌浏览器鼠标选中要查找的内容直接右键copy 里面有个copy selector点击完了,直接复制上的,在编译器里直接ctrl +v 爬虫是什么就是懒人做的事,不是贬义而是,寻找快捷的查找方法的事情,爬虫就是干这事的。