Python如何爬取51cto数据并存入MySQL

Python爬虫实践：数据抓取与MySQL存储

最新推荐文章于 2022-04-16 07:49:53 发布

原创

最新推荐文章于 2022-04-16 07:49:53 发布 · 386 阅读

1 ·

CC 4.0 BY-SA版权

该博客介绍了如何使用Python进行网页数据爬取并存储到MySQL数据库中。首先，安装Python环境和相关库，然后编写代码抓取51CTO博客页面的数据，包括博客标题、阅读量、评论数、收藏数和发布时间，并将这些信息存储到数据库的相应字段。在升级版中，对代码进行了优化，确保数字字段只保留数字并转换为整型，同时将项目打包成exe文件，便于他人使用。整个过程详细展示了从数据抓取到入库的完整流程，适合初学者学习。

实验环境

1.安装Python 3.7

2.安装requests, bs4，pymysql 模块

实验步骤1.安装环境及模块

可参考 https://www.jb51.net/article/194104.htm

2.编写代码


    # 51cto 博客页面数据插入mysql数据库
    # 导入模块
    import re
    import bs4
    import pymysql
    import requests
    
    # 连接数据库账号密码
    db = pymysql.connect(host='172.171.13.229',
               user='root', passwd='abc123',
               db='test', port=3306,
               charset='utf8')
    # 获取游标
    cursor = db.cursor()
    
    def open_url(url):
      # 连接模拟网页访问
      headers = {
        'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) '
               'Chrome/57.0.2987.98 Safari/537.36'}
      res = requests.get(url, headers=headers)
      return res
    
    # 爬取网页内容
    def find_text(res):
      soup = bs4.BeautifulSoup(res.text, 'html.parser')
    
      # 博客名
      titles = []
      targets = soup.find_all("a", class_="tit")
      for each in targets:
        each = each.text.strip()
        if "置顶" in each:
          each = each.split(' ')[0]
        titles.append(each)
    
      # 阅读量
      reads = []
      read1 = soup.find_all("p", class_="read fl on")
      read2 = soup.find_all("p", class_="read fl")
      for each in read1:
        reads.append(each.text)
      for each in read2:
        reads.append(each.text)
    
      # 评论数
      comment = []
      targets = soup.find_all("p", class_='comment fl')
      for each in targets:
        comment.append(each.text)
    
      # 收藏