python读取mysql数据生成excel和html并发送指定邮箱

该博客介绍了如何使用Python的pymysql模块读取MySQL数据库中的数据,然后利用openpyxl将数据转换为Excel文件,接着将数据转化为HTML格式。最后,通过SMTP发送包含Excel附件和HTML正文的邮件到指定邮箱,满足业务需求。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

需求

由于业务需要,需读取mysql数据生成excel,并以附件的形式发送到指定邮箱,正文内容也以表格的形式进行数据展示

分析

采用pymysql进行mysql数据的读取,通过openpyxl处理读取的数据并写入excel,之后通过smtplib将相关数据文件发送到指定邮箱

实现

1.pymysql读取mysql表数据返回result

import pymysql

class MysqlCon():
    def __init__(self,host,user,password,database,charset):
        '''
        :param host: 主机名
        :param user: 用户名
        :param password: 密码
        :param database: 数据库名
        :param charset: 编码
        '''
        self.host = host
        self.user = user
        self.password = password
        self.database = database
        self.charset = charset
        self.cursor = None
        self.connection = None

    def __enter__(self):
        self.connection = pymysql.connect(host=self.host, user=self.user
                                          ,password=self.password, database=self.database, charset=self.charset)
        self.cursor = self.connection.cursor()
        return self.cursor

    def __exit__(self, exc_type, exc_val, exc_tb):
        if self.cursor:
            self.cursor.close()
        if self.connection:
            self.connection.close()


if __name__ == '__main__':
    host = 'mysql-test-test.test.local'
    username = 'test'
    password = 'test@test'
    database = 'test'
    charset = 'utf8'
    sql = 'select f1,f2,f3 from test'
    with MysqlCon(host,username,password,database,charset) as mycursor:
        mycursor.execute(sql)
        result = mycursor.fetchall()

2.openpyxl将读取的result转存excel

import os
from openpyxl import Workbook,load_workbook
from openpyxl.styles import Alignment
from openpyxl.utils import get_column_letter
import time
import logging

def create_xlsx_file(file_path,file_name):
<think>好的,我现在需要帮助用户解决如何使用PythonDjango框架读取Excel表格的多列数据写入MySQL数据库的问题。首先,我需要理清用户的需求,他们想要读取Excel的所有列,将每列数据插入到数据库中。这涉及到几个步骤:安装必要的库、创建Django模型、处理Excel文件、数据转换存储。 首先,用户需要安装哪些库呢?常用的处理Excel的库有openpyxlpandas。这里可能需要确认用户使用的Excel文件格式,比如是.xlsx还是旧版的.xls。不过现在大多数情况下都是.xlsx,所以推荐使用openpyxl或者pandas,因为它们处理起来更方便。此外,数据库连接可能需要mysqlclient或者PyMySQL,但Django本身已经支持MySQL,所以可能只需要在settings.py中配置数据库即可。 接下来是创建Django模型。用户需要根据Excel表格的结构来定义模型字段。例如,如果Excel有姓名、年龄、邮箱等列,那么对应的模型应该有相应的CharField、IntegerField、EmailField等。这里需要提醒用户确保模型字段与Excel列的数据类型匹配,否则可能会出现转换错误。 然后是读取Excel文件。使用pandas的read_excel方法可以方便地将整个Excel文件读入DataFrame,这样就能处理多列数据了。需要注意的是,如果Excel中有多个工作表,可能需要指定sheet_name参数。此外,处理空值或异常数据也是重要的一步,比如用fillna()填充空值或删除包含空值的行。 数据转换部分,需要将DataFrame中的每一行转换为Django模型的实例。这里可能需要遍历DataFrame的每一行,然后使用模型的create方法或者bulk_create来批量插入数据,以提高效率。同时,异常处理也很关键,比如捕获数据类型不匹配或数据库连接问题,确保程序健壮性。 在代码示例部分,需要展示一个完整的流程,从读取Excel到数据清洗,再到保存到数据库。可能需要分步骤说明,比如如何安装库、配置Django模型、编写处理脚本等。此外,引用用户提供的参考链接,比如如何从Excel读取数据写入数据库,以及Django与MySQL的交互,可以增强答案的可信度。 另外,用户可能关心性能问题,比如处理大量数据时的优化方法。可以建议使用批量插入(bulk_create)而不是逐条插入,减少数据库事务的次数,从而提高效率。同时,提醒用户注意Excel文件的大小,避免内存不足的问题,可以考虑分块读取处理。 最后,需要生成相关问题,帮助用户进一步深入学习。比如如何优化导入性能、处理复杂数据映射或验证数据有效性等。这些问题应该与当前主题紧密相关,且能够引导用户探索更多相关知识点。 总结一下,整个思考过程需要涵盖安装依赖、模型定义、Excel读取、数据处理、数据库操作、异常处理以及性能优化等方面,确保用户能够按照步骤顺利实现功能,理解其中的关键点。</think>### Django读取Excel数据写入MySQL数据库步骤 #### 1. 安装依赖库 ```bash pip install pandas openpyxl mysqlclient ``` - `pandas`用于处理Excel数据 - `openpyxl`用于解析.xlsx文件 - `mysqlclient`用于Django连接MySQL #### 2. 创建Django模型 假设Excel包含`姓名`,`年龄`,`邮箱`三列: ```python # models.py from django.db import models class UserData(models.Model): name = models.CharField(max_length=100) age = models.IntegerField() email = models.EmailField() ``` #### 3. 编写数据处理脚本 ```python # import_data.py import pandas as pd from your_app.models import UserData def import_excel(file_path): # 读取Excel数据 df = pd.read_excel(file_path, engine='openpyxl') # 处理空值 df = df.fillna('') # 或 df = df.dropna() # 转换数据 records = [] for _, row in df.iterrows(): records.append(UserData( name=row['姓名'], age=row['年龄'], email=row['邮箱'] )) # 批量写入数据库 UserData.objects.bulk_create(records) ``` #### 4. 数据库配置 确保`settings.py`已配置MySQL连接: ```python DATABASES = { 'default': { 'ENGINE': 'django.db.backends.mysql', 'NAME': 'your_db', 'USER': 'root', 'PASSWORD': 'your_password', 'HOST': 'localhost', 'PORT': '3306', } } ``` #### 5. 执行导入命令 ```bash python manage.py shell >>> from import_data import import_excel >>> import_excel('data.xlsx') ``` ### 关键点说明 1. 字段映射:确保模型字段与Excel列名对应,可使用`df.columns`查看列名 2. 数据类型:使用`astype()`强制转换类型,如`df['年龄'] = df['年龄'].astype(int)` 3. 性能优化:使用`bulk_create`比逐条`save()`快10倍以上[^2] 4. 错误处理:添加`try-except`块处理数据转换异常 ### 示例Excel数据结构 | 姓名 | 年龄 | 邮箱 | |--------|------|----------------| | 张三 | 25 | zhangsan@xx.com| | 李四 | 30 | lisi@xx.com |
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值