python爬虫篇1——爬取中英文论文文献数据

昕楠

于 2019-12-19 11:08:45 发布

阅读量1w

点赞数 6

CC 4.0 BY-SA版权

分类专栏： python 文章标签：爬虫 python mysql 文献

本文链接：https://blog.youkuaiyun.com/qq_35595164/article/details/103610877

本文档介绍了使用Python爬虫技术抓取中英文论文文献数据，并详细展示了如何将获取的数据存储到MySQL数据库的过程。文中包含Python代码示例和MySQL操作代码，同时欢迎读者交流讨论可能存在的问题。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

程序运行截图：

mysql代码：

CREATE TABLE `article` (
  `id` int(11) NOT NULL,
  `article_time` varchar(50) DEFAULT NULL,
  `article_volume` varchar(20) DEFAULT NULL,
  `article_author` varchar(2000) DEFAULT NULL,
  `article_name_english` varchar(2000) DEFAULT NULL,
  `article_name_chinese` varchar(2000) DEFAULT NULL,
  `article_content_english` varchar(5000) DEFAULT NULL,
  `article_content_chinese` varchar(2000) DEFAULT NULL,
  PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8

python代码：

import random
import re
import requests
import pymysql

# 打开数据库连接
db = pymysql.connect(host='localhost',
                     port=8080,
                     user='root',
                     passwd='123',
                     db='students',
                     charset='utf8')
# 使用 curs