python爬虫篇6——抓取大数据资讯

该博客介绍了如何使用Python进行爬虫抓取大数据资讯,并结合PyQt5创建可视化界面。文章中包含了创建MySQL数据库的Python代码,以及项目的基本结构,包括PyQt5界面设计和爬虫程序code。虽然可能含有小bug,作者鼓励读者通过提供的资源链接查看详细源码并交流讨论。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

mysql代码:创建mysql数据库的代码已集成在python代码中。

使用PyQt5编写可视化界面,感兴趣的请先了解pyqt5的安装及基本使用。

项目结构:

1.pyqt5界面设计:

2.程序code:

untitled.py主程序入口:
# -*- coding: utf-8 -*-

# Form implementation generated from reading ui file 'untitled.ui'
#
# Created by: PyQt5 UI code generator 5.10.1
#
# WARNING! All changes made in this file will be lost!
import sys

from PyQt5 import QtCore, QtGui, QtWidgets
from PyQt5.QtCore import QStringListModel, Qt, pyqtSignal
from PyQt5.QtWidgets import QMessageBox, QWidget

from 大数据资讯快抓.getdata import *


class Ui_mainWindow(object):
    def setupUi(self, mainWindow):
        mainWindow.setObjectName("mainWindow")
        mainWindow.resize(640, 560)
        mainWindow.setMinimumSize(QtCore.QSize(640, 560))
        mainWindow.setMaximumSize(QtCore.QSize(640, 560))
        self.centralwidget = QtWidgets.QWidget(mainWindow)
        self.centralwidget.setMinimumSize(QtCore.QSize(640, 560))
        self.centralwidget.setMaximumSize(QtCore.QSize(640, 560))
        self.centralwidget.setObjectName("centralwidget")
        # 显示顶部图片
        self.top_widget = QtWidgets.QWidget(self.centralwidget)
        self.top_widget.setGeometry(QtCore.QRect(0, 0, 640, 120))
        self.top_widget.setMinimumSize(QtCore.QSize(640, 120))
        self.top_widget.setMaximumSize(QtCore.QSize(640, 120))
        self.top_widget.setStyleSheet("image: url(:/png/bg1.png);\n"
                                      "background-image: url(:/png/bg2.png);")
        self.top_widget.setObjectName("top_widget")
        # 数据库参数模块
        self.db_widget = QtWidgets.QWidget(self.centralwidget)
        self.db_widget.setGeometry(QtCore.QRect(0, 120, 640, 120))
        self.db_widget.setStyleSheet("background-image: url(:/png/bg2.png);")
        self.db_widget.setObjectName("db_widget")
        # 数据库参数
        self.db_set = QtWidgets.QLabel(self.db_widget)
        self.db_set.setGeometry(QtCore.QRect(10, 15, 64, 12))
        self.db_set.setObjectName("db_set")
        self.db_set.setFont(self.getFont())
        # 数据库地址
        self.db_addr = QtWidgets.QLabel(self.db_widget)
        self.db_addr.setGeometry(QtCore.QRect(10, 40, 64, 12))
        self.db_addr.setObjectName("db_addr")
        self.db_addr.setFont(self.getFont())
        # 数据库地址输入框
        self.db_addr_edit = QtWidgets.QTextEdit(self.db_widget)
        self.db_addr_edit.setGeometry(QtCore.QRect(80, 35, 150, 24))
        self.db_addr_edit.setStyleSheet("background-image: url(:/png/bg3.png);")
        self.db_addr_edit.setObjectName("db_addr_edit")
        self.db_addr_edit.setFont(self.getFont())
        # 数据库端口号
        self.db_port = QtWidgets.QLabel(self.db_widget)
        self.db_port.setGeometry(QtCore.QRect(10, 65, 64, 12))
        self.db_port.setObjectName("db_port")
        self.db_port.setFont(self.getFont())
        # 数据库端口号输入框
        self.db_port_edit = QtWidgets.QTextEdit(self.db_widget)
        self.db_port_edit.setGeometry(QtCore.QRect(80, 60, 150, 24))
        self.db_port_edit.setStyleSheet("background-image: url(:/png/bg3.png);")
        self.db_port_edit.setObjectName("db_port_edit")
        self.db_port_edit.setFont(self.getFont())
        # 数据库编码
        self.db_charset = QtWidgets.QLabel(self.db_widget)
        self.db_charset.setGeometry(QtCore.QRect(10, 90, 64, 12))
        self.db_charset.setObjectName("db_charset")
        self.db_charset.setFont(self.getFont())
        # 数据库编码输入框
        self.db_charset_edit = QtWidgets.QTextEdit(self.db_widget)
        self.db_charset_edit.setGeometry(QtCore.QRect(80, 85, 150, 24))
        self.db_charset_edit.setStyleSheet("background-image: url(:/png/bg3.png);")
        self.db_charset_edit.setObjectName("db_charset_edit")
        self.db_charset_edit.setFont(self.getFont())
        # 数据库名称
        self.db_name = QtWidgets.QLabel(self.db_widget)
        self.db_name.setGeometry(QtCore.QRect(240, 40, 64, 12))
        self.db_name.setObjectName("db_name")
        self.db_name.setFont(self.getFont())
        # 数据库名称输入框
        self.db_name_edit = QtWidgets.QTextEdit(self.db_widget)
        self.db_name_edit.setGeometry(QtCore.QRect(310, 35, 150, 24))
        self.db_name_edit.setStyleSheet("background-image: url(:/png/bg3.png);")
        self.db_name_edit.setObjectName("db_name_edit")
        self.db_name_edit.setFont(self.getFont())
        # 数据库用户名
        self.db_usename = QtWidgets.QLabel(self.db_widget)
        self.db_usename.setGeometry(QtCore.QRect(240, 65, 64, 12))
        self.db_usename.setObjectName("db_usename")
        self.db_usename.setFont(self.getFont())
        # 数据库用户名输入框
        self.db_usename_edit = QtWidgets.QTextEdit(self.db_widget)
        self.db_usename_edit.setGeometry(QtCore.QRect(310, 60, 150, 24))
        self.db_usename_edit.setStyleSheet("background-image: url(:/png/bg3.png);")
        self.db_usename_edit.setObjectName("db_usename_edit")
        self.db_usename_edit.setFont(self.getFont())
        # 数据库密码
        self.db_pwd = QtWidgets.QLabel(self.db_widget)
        self.db_pwd.setGeometry(QtCore.QRect(240, 90, 64, 12))
        self.db_pwd.setObjectName("db_pwd")
        self.db_pwd.setFont(self.getFont())
        # 数据库密码输入框
        self.db_pwd_edit = QtWidgets.QTextEdit(self.db_widget)
        self.db_pwd_edit.setGeometry(QtCore.QRect(310, 85, 150, 24))
        self.db_pwd_edit.setStyleSheet("background-image: url(:/png/bg3.png);")
        self.db_pwd_edit.setObjectName("db_pwd_edit")
        self.db_pwd_edit.setFont(self.getFont())
        # 数据库参数保存按钮
        self.db_save_btn = QtWidgets.QPushButton(self.db_widget)
        self.db_save_btn.setGeometry(QtCore.QRect(500, 85, 90, 24))
        self.db_save_btn.setObjectName("db_save_btn")
        self.db_save_btn.setFont(self.getFont())

        self.line_2 = QtWidgets.QFrame(self.db_widget)
        self.line_2.setGeometry(QtCore.QRect(0, 0, 640, 3))
        self.line_2.setFrameShape(QtWidgets.QFrame.HLine)
        self.line_2.setFrameShadow(QtWidgets.QFrame.Sunken)
        self.line_2.setObjectName("line_2")
        self.widget = QtWidgets.QWidget(self.centralwidget)
        self.widget.setGeometry(QtCore.QRect(0, 240, 640, 320))
        self.widget.setObjectName("widget")
        # 大数据世界消息栏列表
        self.bigdataworld_listview = QtWidgets.QListView(self.widget)
        self.bigdataworld_listview.setGeometry(QtCore.QRect(0, 30, 250, 290))
        self.bigdataworld_listview.setObjectName("bigdataworld_listview")
        self.bigdataworld_listview.setFont(self.getFont())

        self.bigdataworld_tip_widget = QtWidgets.QWidget(self.widget)
        self.bigdataworld_tip_widget.setGeometry(QtCore.QRect(0, 0, 250, 30))
        self.bigdataworld_tip_widget.setStyleSheet("background-image: url(:/png/bg2.png);")
        self.bigdataworld_tip_widget.setObjectName("bigdataworld_tip_widget")
        self.showtable = QtWidgets.QLabel(self.bigdataworld_tip_widget)
        self.showtable.setGeometry(QtCore.QRect(60, 10, 120, 12))
        self.showtable.setObjectName("showtable")
        self.showtable.setFont(self.getFont())
        self.line_4 = QtWidgets.QFrame(self.bigdataworld_tip_widget)
        self.line_4.setGeometry(QtCore.QRect(0, 0, 250, 3))
        self.line_4.setFrameShape(QtWidgets.QFrame.HLine)
        self.line_4.setFrameShadow(QtWidgets.QFrame.Sunken)
        self.line_4.setObjectName("line_4")
        self.bigdatazx_tip_widget = QtWidgets.QWidget(self.widget)
        self.bigdatazx_tip_widget.setGeometry(QtCore.QRect(390, 0, 250, 30))
        self.bigdatazx_tip_widget.setStyleSheet("background-image: url(:/png/bg2.png);")
        self.bigdatazx_tip_widget.setObjectName("bigdatazx_tip_widget")
        self.showtable_2 = QtWidgets.QLabel(
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值