命名实体识别（一）_Python3爬取新闻并将文本存入MySQL

最新推荐文章于 2025-07-24 17:16:27 发布

原创

最新推荐文章于 2025-07-24 17:16:27 发布 · 902 阅读

6 ·

CC 4.0 BY-SA版权

文章标签：

#命名实体识别 #MySQL #python3 #爬虫

该博客介绍了如何使用Python3爬取新闻正文，并将其存储到MySQL数据库中，包括创建数据库、定义数据表、连接数据库和存入数据的步骤。示例针对人民网的新闻进行操作。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Python3爬取新闻并存入MySQL

项目内容：

1.爬取某新闻正文

2.将新闻正文存入Mysql

本文以两篇人民网新闻为例

一、爬取新闻正文

# -*- coding:utf-8 -*-
import lxml.html
import tushare as ts
from sphinx.util import requests
import pymysql
pymysql.install_as_MySQLdb()
import mysqldbda
from sqlalchemy import create_engine
def reptile(web,xpath1,xpath2):
    selector = lxml.html.fromstring(requests.get(web).content.decode('GBK'))
    site = selector.xpath(xpath1)
    selector_html = []
    for i in range(