小爬虫demo——爬取“妹子”等网站链接____使用requests库

本文通过三个部分分享了一个使用requests库的Python爬虫demo,包括代码展示、运行细节与改进点。文章强调了爬虫过程中需要注意的文件操作、调试方法、URL处理等细节,并建议通过不断优化和练习来提升爬虫技能。同时,作者提供了正则表达式学习的福利建议。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

# 文章分为三个部分:1. po代码 ;2.  提示运行过程中的一些细节 和需要改进的地方; 3. 常规送福利

# 文章将持续完善和补充

# 欢迎拍砖、交流、指正

 

第一部分:Po 代码:

import re
import requests

key = input("请输入爬虫key:")
page = int(input("请输入爬取页数:"))


def baidu_spider(key, page):
    url = "https://www.baidu.com/s?ie=utf-8&f=8&rsv_bp=0&rsv_idx=1&tn=baidu&rsv_pq=97c316e30000cd79&rsv_t=939fKvQC%2FyNI%2FfqG%2FHRyaxtV2ZNUqwqZR%2BbBbqi2U%2BdCyjUZZ2o6mib%2FFLc&rqlang=cn&rsv_enter=1&rsv_sug3=15&rsv_sug1=4&rsv_sug7=100&rsv_sug2=0&inputT=2096&rsv_sug4=3218"
    headers = {
        "User-Agent": "Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.181 Mobile Safari/537.36"
    }
    fb = open("%s.txt" % key, "w")
    for i in range(page):

        data = {
            'wd': key,
            'pn': i * 10
        }
        response = requests.get(url, headers=headers, params=data, timeout=10)
        html = response.text
        urls = re.findall(r'<div class="result c-container ".*?"(http://www.baidu.com/link\?url=.*?)".*?</div>', html,
                          re.S)
        for b_url in urls:
            res = requests.get(b_url, headers=headers)
            print(res.url)
            fb.write(res.url)
            fb.write("\n")
    fb.close()


# 调用函数

baidu_spider(key, page)

第二部分:细节和改进

    1.打开和关闭文件的操作,不要写入循环内部,否则会造成反复打开文件,造成CPU和内存浪费;

    2.写爬虫的过程是一个从简单到逐步复杂的过程,需要不断地调试,除了使用Pycharm地断点调试外,还经常在程序运行过程中,添加 print(“*”* 20) 类似这样地方法。

    3.最里层的for循环问题,就在我上一篇文章中有提到,这里之前写的过程中误写成 :

 

for url in urls:

造成第一页有用网址全部爬完之后,后面作为response的参数,再次反复传入,导致后面网址没法再度爬取。

    4.第一次爬去的链接不是最终指向的url,所以demo中用了两次requests.get()方法。

    5.整体代码不多,而且requests库非常“傻瓜式"操作,但是实际写的过程中还是会遇到各种小细节,远不止写出来的这么多。总之,爬虫是需要不断地优化,不断地调试地。

    6.示例:

爬取的部分网页:

 

第三部分:常规送个福利

    1.其实不是你们想要的那种福利,我是纯洁好少年。真正的福利是如何学习正则表达式:

            ----不要急于求成,记住一些常规的就够用,不常用的需要的时候搜索一下即可。

            ----过完几遍基础后,不断地练习,再练习中不断地理解记忆。

            ----网上搜一些经典的正则表达式案例,没事的时候练一练。

 

注:本文是根据网络直播课(from:潭州教育心蓝老师),自己回忆版,非广告。侵删!

 

 

 

Python爬取京东手机参数通常涉及到网络爬虫技术,其中Pandas常用于数据处理,BeautifulSoup或Scrapy框架则用于解析HTML网页。以下是一个简单的示例,说明如何分页爬取京东商城的手机商品信息: 首先,安装必要的: ```bash pip install requests beautifulsoup4 pandas ``` 然后,编写一个基本的爬虫脚本,这里以requests和BeautifulSoup为基础: ```python import requests from bs4 import BeautifulSoup import pandas as pd def get_page_content(url): headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3' } response = requests.get(url, headers=headers) if response.status_code == 200: return response.text else: print(f"请求失败,状态码:{response.status_code}") return None def parse_page(html): soup = BeautifulSoup(html, 'html.parser') # 提取商品信息,假设手机参数在`div`标签内,如品牌、型号、价格等 phones_info = soup.find_all('div', class_='product-info') data = [] for info in phones_info: brand = info.find('span', class_='p-name').text.strip() model = info.find('span', class_='p-name-detail').text.strip() price = info.find('em', class_='p-price').text.strip() # 添加其他参数,例如内存、分辨率等 # memory = info.find('span', class_='some-class-for-memory').text.strip() if exists else '' # resolution = info.find('span', class_='some-class-for-resolution').text.strip() if exists else '' data.append({ 'Brand': brand, 'Model': model, 'Price': price, # ...其他参数 }) return data def fetch_jd_phone_params(start_url, num_pages=1): phone_data = [] for i in range(num_pages): url = f"{start_url}?page={i + 1}" html = get_page_content(url) if html is not None: parsed_data = parse_page(html) phone_data.extend(parsed_data) df = pd.DataFrame(phone_data) return df # 示例开始URL start_url = "https://search.jd.com/Search?keyword=%E7%A7%BB%E5%8A%A8&enc=utf-8&wq=%E7%A7%BB%E5%8A%A8" # 爬取并保存结果 df = fetch_jd_phone_params(start_url) df.to_csv('jd_phones.csv', index=False) print("爬取完成,数据已保存到jd_phones.csv")
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值