python爬虫篇1——爬取中英文论文文献数据

原创

于 2019-12-19 11:08:45 发布 · 1w 阅读

80 ·

CC 4.0 BY-SA版权

文章标签：

#爬虫 #python #mysql #文献

本文档介绍了使用Python爬虫技术抓取中英文论文文献数据，并详细展示了如何将获取的数据存储到MySQL数据库的过程。文中包含Python代码示例和MySQL操作代码，同时欢迎读者交流讨论可能存在的问题。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

程序运行截图：

mysql代码：

CREATE TABLE `article` (
  `id` int(11) NOT NULL,
  `article_time` varchar(50) DEFAULT NULL,
  `article_volume` varchar(20) DEFAULT NULL,
  `article_author` varchar(2000) DEFAULT NULL,
  `article_name_english` varchar(2000) DEFAULT NULL,
  `article_name_chinese` varchar(2000) DEFAULT NULL,
  `article_content_english` varchar(5000) DEFAULT NULL,
  `article_content_chinese` varchar(2000) DEFAULT NULL,
  PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8

python代码：

import random
import re
import requests
import pymysql

# 打开数据库连接
db = pymysql.connect(host='localhost',
                     port=8080,
                     user='root',
                     passwd='123',
                     db='students',
                     charset='utf8')
# 使用 cursor() 方法创建一个游标对象 cursor
cursor = db.cursor()


# 功能：获取历年的论文文献名中英文，作者名，摘要中英文，时间

# 翻译接口 parm: content is english
def translator_chinese(content):
    """英文翻译成中文"""
    Tranlator_URL = "http://fy.ic