农机资讯网_数据爬取(源码)_一蓑烟雨任平生

关注

原创最新推荐文章于 2026-07-28 10:13:05 发布 496 阅读 AI 写同款· GEO 优化 ›

Python爬虫 l 中国农药信息网的农药登记数据当我学到一定基础，有自己的理解能力的时候，会去阅读一些前辈整理的书籍或者手写的笔记资料，这些笔记详细记载了他们对一些技术点的理解，这些理解是比较独到，可以学到不一样的思路。Python所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照下面的知识点去找对应的学习资源，保证自己学得较为全面。在使用open函数时，如果不指定文件编码格式，默认使用系统的编码格式。纸上得来终觉浅，要学会跟着视频一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。阅读详情

废话不多说,直接上代码

今天要倒霉的网站是农机资讯网

# -*- coding: utf-8 -*-
import requests
import pymysql
from bs4 import BeautifulSoup  # 用来解析网页
import uuid
import time

url = "http://news.nongji360.com"

headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/52.0.2743.116 '
                  'Safari/537.36',
    'Accept-Language': 'zh-CN,zh;q=0.8'
}
conn = pymysql.connect(host='127.0.0.1', user='root', passwd='123456', db='zhang', charset='utf8')
cur = conn.cursor()
print("连接成功")

for i in range(1, 10):  # 爬取第一页到第3页的数据
    resp = requests.get(f"http://news.nongji360.com/list/9?p={i}", headers=headers)
    page_one = BeautifulSoup(resp.content, "html.parser")
    dd = page_one.find('div', class_='layer2_left').find_all('h3')
    for ss in dd:
        sUrl = url + ss.find('a')['href']

        # 打开二级网页进行爬取
        rp = requests.get(sUrl, headers=headers)
        page_two = BeautifulSoup(rp.content, "html.parser")
        papaer_id = str(uuid.uuid1())

        if page_two.find('div', class_='content_left1') is None:
            continue
        # 标题
        title = page_two.find('div', class_='content_left1').find('h1').text
        # 时间
        print(sUrl)
        timet = page_two.find('div', class_='content_left1').find('div').text[12:22]
        # 来源
        source = page_two.find('div', class_='content_left1').find('div').text[32:].strip()
        print(source)
        # 内容
        content = page_two.find('div', id='article_content').text.strip()
        print(content)
        sql = "insert into knowledge(id,title,timet,content,p_type,url,source) VALUES (%s,%s,%s,%s,%s,%s,%s)"
        cur.execute(sql, (papaer_id, title, timet, content, "机械农业", sUrl, source))
    print("SQL正在执行第{}页执行完毕".format(i))
    conn.commit()
    time.sleep(1)  # 防止服务器蹦了,间隔一秒钟
cur.close()
conn.close()