深度学习 Day3——T3天气识别

机器学习入门:从线性回归实操掌握特征缩放与过拟合识别 机器学习入门是构建AI工程能力的第一道门槛,其核心不在于快速调用算法库,而在于理解模型如何从数据中学习规律。线性回归作为最基础的监督学习方法,天然具备可解释性强、数学直观、环节透明等优势,是揭示特征缩放原理、识别过拟合现象、实践模型评估三支柱的理想载体。通过手动实现标准化、观察梯度下降损失曲线、分析残差图与VIF共线性指标,学习者能建立对数据质量、特征工程和泛化能力的底层直觉。这种‘裸手操作’式训练,显著提升在真实业务场景(如房价预测、风控建模)中定位数据泄露、处理量纲失衡、向非技术方解释模型局限性的能力, 阅读详情


前言

本文将采用CNN实现多云、下雨、晴、日出四种天气状态的识别。较上篇文章,本文为了增加模型的泛化能力,新增了Dropout层并且将最大池化层调整成了平均池化层。简单讲述实现代码与执行结果,并浅谈涉及知识点,涉及知识点包括。
关键字:pathlib的使用,tf.keras.preprocessing.image_dataset_from_directory() 简介,配置数据集,CNN网络模型结构,Dropout层 tf.keras.layers.Dropout() 介绍,编译参数。

一、我的环境

  • 电脑系统:Windows 11
  • 语言环境:python 3.8.6
  • 编译器:pycharm
  • 深度学习环境:TensorFlow 2.10.1

二、代码实现与执行结果

1.引入库

import PIL
from pathlib import Path
import tensorflow as tf
from tensorflow.keras import datasets, layers, models
import matplotlib.pyplot as plt
import warnings
warnings.filterwarnings('ignore')  # 忽略一些warning内容,无需打印

2.设置GPU(如果使用的是CPU可以忽略这步)

'''前期工作-设置GPU(如果使用的是CPU可以忽略这步)'''
gpus = tf.config.list_physical_devices("GPU")
if gpus:
    gpu0 = gpus[0]  # 如果有多个GPU,仅使用第0个GPU
    tf.config.experimental.set_memory_growth(gpu0, True)  # 设置GPU显存用量按需使用
    tf.config.set_visible_devices([gpu0], "GPU")

本人电脑无独显,故该步骤被注释,未执行。

3.导入数据

天气测试数据(提取码:hqij)

'''前期工作-导入数据'''
data_dir = "D:/DeepLearning/data/weather_photos/"
data_dir = Path(data_dir)

4.查看数据

'''前期工作-查看数据'''
# 数据集一共分为cloudy、rain、shine、sunrise四类,分别存放于weather_photos文件夹中以各自名字命名的子文件夹中。
image_count = len(list(data_dir.glob('*/*.jpg')))
print("图片总数为:", image_count)
roses = list(data_dir.glob('sunrise/*.jpg'))
image = PIL.Image.open(str(roses[0]))
# 查看图像实例的属性
print(image.format, image.size, image.mode)
plt.imshow(image)
plt.show()

![在这里插入图片描述](https://img-blog.csdnimg.cn/5c05bb7d859f4b3eb6164f6250d40569.png

5.加载数据

 '''数据预处理-加载数据'''
# 使用image_dataset_from_directory方法将磁盘中的数据加载到tf.data.Dataset中
batch_size = 32
img_height = 180
img_width = 180
"""
关于image_dataset_from_directory()的详细介绍可以参考文章:https://mtyjkh.blog.youkuaiyun.com/article/details/117018789
"""
train_ds = tf.keras.preprocessing.image_dataset_from_directory(
    data_dir,
    validation_split=0.2,
    subset="training",
    seed=123,
    image_size=(img_height, img_width),
    batch_size=batch_size)
"""
关于image_dataset_from_directory()的详细介绍可以参考文章:https://mtyjkh.blog.youkuaiyun.com/article/details/117018789
"""
val_ds = tf.keras.preprocessing.image_dataset_from_directory(
    data_dir,
    validation_split=0.2,
    subset="validation",
    seed=123,
    image_size=(img_height, img_width),
    batch_size=batch_size)

# 我们可以通过class_names输出数据集的标签。标签将按字母顺序对应于目录名称。
class_names = train_ds.class_names
print(class_names)

运行结果:

图片总数为: 1125
JPEG (750, 500) RGB
Found 1125 files belonging to 4 classes.
Using 900 files for training.
Found 1125 files belonging to 4 classes.
Using 225 files for validation.
['cloudy', 'rain', 'shine', 'sunrise']

6.可视化数据

'''数据预处理-可视化数据'''
plt.figure(figsize=(25, 20))
for images, labels in train_ds.take(1):
    for i in range(20):
        ax = plt.subplot(5, 4, i + 1)
        plt.imshow(images[i].numpy().astype("uint8"))
        plt.title(class_names[labels[i]], fontsize=40)
        plt.axis("off")
# 显示图片
plt.show()

在这里插入图片描述

7.再次检查数据

'''数据预处理-再次检查数据'''
# Image_batch是形状的张量(32,180,180,3)。这是一批形状180x180x3的32张图片(最后一维指的是彩色通道RGB)。
# Label_batch是形状(32,)的张量,这些标签对应32张图片
for image_batch, labels_batch in train_ds:
    print(image_batch.shape)
    print(labels_batch.shape)
    break

运行结果

(32, 180, 180, 3)
(32,)

8.配置数据集

本人电脑无GPU加速,故并未起到加速作用

'''数据预处理-配置数据集'''
AUTOTUNE = tf.data.AUTOTUNE
# shuffle():打乱数据,关于此函数的详细介绍可以参考:https://zhuanlan.zhihu.com/p/42417456
# prefetch():预取数据,加速运行
# cache():将数据集缓存到内存当中,加速运行
train_ds = train_ds.cache().shuffle(1000).prefetch(buffer_size=AUTOTUNE)
val_ds = val_ds.cache().prefetch(buffer_size=AUTOTUNE)

9.构建CNN网络模型

'''构建CNN网络'''
num_classes = 4
"""
关于卷积核的计算不懂的可以参考文章:https://blog.youkuaiyun.com/qq_38251616/article/details/114278995
layers.Dropout(0.4) 作用是防止过拟合,提高模型的泛化能力。
在上一篇文章花朵识别中,训练准确率与验证准确率相差巨大就是由于模型过拟合导致的
关于Dropout层的更多介绍可以参考文章:https://mtyjkh.blog.youkuaiyun.com/article/details/115826689
"""
model = models.Sequential([
    layers.experimental.preprocessing.Rescaling(1. / 255, input_shape=(img_height, img_width, 3)),

    layers.Conv2D(16, (3, 3), activation='relu', input_shape=(img_height, img_width, 3)),  # 卷积层1,卷积核3*3
    layers.AveragePooling2D((2, 2)),  # 池化层1,2*2采样
    layers.Conv2D(32, (3, 3), activation='relu'),  # 卷积层2,卷积核3*3
    layers.AveragePooling2D((2, 2)),  # 池化层2,2*2采样
    layers.Conv2D(64, (3, 3), activation='relu'),  # 卷积层3,卷积核3*3
    layers.Dropout(0.3),  # 让神经元以一定的概率停止工作,防止过拟合,提高模型的泛化能力。

    layers.Flatten(),  # Flatten层,连接卷积层与全连接层
    layers.Dense(128, activation='relu'),  # 全连接层,特征进一步提取
    layers.Dense(num_classes)  # 输出层,输出预期结果
])
model.summary()  # 打印网络结构

网络结构结果如下:

Model: "sequential"
_________________________________________________________________
 Layer (type)                Output Shape              Param #   
=================================================================
 rescaling (Rescaling)       (None, 180, 180, 3)       0         
                                                                 
 conv2d (Conv2D)             (None, 178, 178, 16)      448       
                                                                 
 average_pooling2d (AverageP  (None, 89, 89, 16)       0         
 ooling2D)                                                       
                                                                 
 conv2d_1 (Conv2D)           (None, 87, 87, 32)        4640      
                                                                 
 average_pooling2d_1 (Averag  (None, 43, 43, 32)       0         
 ePooling2D)                                                     
                                                                 
 conv2d_2 (Conv2D)           (None, 41, 41, 64)        18496     
                                                                 
 dropout (Dropout)           (None, 41, 41, 64)        0         
                                                                 
 flatten (Flatten)           (None, 107584)            0         
                                                                 
 dense (Dense)               (None, 128)               13770880  
                                                                 
 dense_1 (Dense)             (None, 4)                 516       
                                                                 
=================================================================
Total params: 13,794,980
Trainable params: 13,794,980
Non-trainable params: 0

10.编译模型

'''编译模型'''
# 设置优化器
opt = tf.keras.optimizers.Adam(learning_rate=0.001)
model.compile(optimizer=opt,
              loss=tf.keras.losses.SparseCategoricalCrossentropy(from_logits=True),
              metrics=['accuracy'])

11.训练模型

'''训练模型'''
epochs = 10
history = model.fit(
    train_ds,
    validation_data=val_ds,
    epochs=epochs

训练记录如下:

Epoch 1/10
29/29 [==============================] - 8s 219ms/step - loss: 1.3720 - accuracy: 0.6022 - val_loss: 0.5899 - val_accuracy: 0.7333
Epoch 2/10
29/29 [==============================] - 6s 200ms/step - loss: 0.5170 - accuracy: 0.8256 - val_loss: 0.5279 - val_accuracy: 0.7689
Epoch 3/10
29/29 [==============================] - 6s 207ms/step - loss: 0.4007 - accuracy: 0.8711 - val_loss: 0.5166 - val_accuracy: 0.7822
Epoch 4/10
29/29 [==============================] - 7s 248ms/step - loss: 0.3768 - accuracy: 0.8511 - val_loss: 0.5604 - val_accuracy: 0.7733
Epoch 5/10
29/29 [==============================] - 8s 292ms/step - loss: 0.2884 - accuracy: 0.8978 - val_loss: 0.5355 - val_accuracy: 0.7956
Epoch 6/10
29/29 [==============================] - 9s 297ms/step - loss: 0.2292 - accuracy: 0.9122 - val_loss: 0.4942 - val_accuracy: 0.8400
Epoch 7/10
29/29 [==============================] - 8s 290ms/step - loss: 0.1475 - accuracy: 0.9511 - val_loss: 0.5258 - val_accuracy: 0.8311
Epoch 8/10
29/29 [==============================] - 9s 294ms/step - loss: 0.1177 - accuracy: 0.9622 - val_loss: 0.5492 - val_accuracy: 0.8311
Epoch 9/10
29/29 [==============================] - 9s 301ms/step - loss: 0.1156 - accuracy: 0.9644 - val_loss: 0.4820 - val_accuracy: 0.8267
Epoch 10/10
29/29 [==============================] - 9s 302ms/step - loss: 0.0895 - accuracy: 0.9700 - val_loss: 0.6318 - val_accuracy: 0.8000

12.模型评估

'''模型评估'''
acc = history.history['accuracy']
val_acc = history.history['val_accuracy']
loss = history.history['loss']
val_loss = history.history['val_loss']
epochs_range = range(epochs)
plt.figure(figsize=(12, 4))
plt.subplot(1, 2, 1)
plt.plot(epochs_range, acc, label='Training Accuracy')
plt.plot(epochs_range, val_acc, label='Validation Accuracy')
plt.legend(loc='lower right')
plt.title('Training and Validation Accuracy')
plt.subplot(1, 2, 2)
plt.plot(epochs_range, loss, label='Training Loss')
plt.plot(epochs_range, val_loss, label='Validation Loss')
plt.legend(loc='upper right')
plt.title('Training and Validation Loss')
plt.show()

执行结果
在这里插入图片描述

三、知识点详解

1.pathlib的使用

pathlib 不直接访问 OS 来操作 path,占内存少, 不用考虑底层是Linux还是Windows, 使代码可移植性更佳。
pathlib 模块从 python3.4 开始,到 python3.6 已经比较成熟。

# pathlib常用命令
from pathlib import Path

print("当前路径:", Path.cwd())
print("上层目录:", Path.cwd().parent)
print("上上层目录:", Path.cwd().parent.parent)
print("绝对路径:", Path(r"..\data\weather_photos").resolve())
path = Path(__file__).resolve()
print("当前文件:", path)
print("文件名(不带扩展名):", path.stem)
print("文件名全名:", path.name)
print("文件名后缀:", path.suffix)
print("文件路径分解上层目录:", path.parents[0])
print("文件路径分解上上层目录:", path.parents[1])
print("路径拼接1:", path.parents[1] / "abc" / "de.txt")
print("路径拼接2:", path.parents[1].joinpath("abc", "de.txt"))
print("路径是否存在:", path.exists())
print("是否为目录:", path.is_dir())
print("是否为文件:", path.is_file())
path1=Path(r"D:\DeepLearning\abcd\a")
path2=Path(r"D:\DeepLearning\abcd\a.txt")
print(r"写文件D:\DeepLearning\abcd\a.txt",path2.write_text('Text file contents'))
print(r"删除文件:\DeepLearning\abcd\a.txt:", path2.unlink(missing_ok=False))  #默认 missing_ok = False, 如果文件不存在,会产生 FileNotFoundError 异常,设置为True, 则忽略该异常。
print(r"创建文件夹D:\DeepLearning\abcd\a:", path1.mkdir(parents=True, exist_ok=True)) # parents = True: 创建中间级父目录,exist_ok= True: 目标目录存在时不报错
print(r"删除文件夹,文件夹必须为空D:\DeepLearning\abcd\a:", path1.rmdir())
print("type(Path.cwd():", type(Path.cwd()))
print("type(str(type(Path.cwd()))):", type(str(type(Path.cwd()))))
# rglob()是递归的,glob()不是
p = Path.cwd()
print("type(p.glob(\"*\")):", type(p.glob("*")))
print("type(list(p.glob(\"*\"))):", type(list(p.glob("*"))))
print("Path模块下的 glob(*),当前目录中的所有文件和文件夹:")
for i in p.glob("*"):
    print(i)
print("\nPath模块下的 glob(**),当前目录及其下所有子目录中的所有文件夹:")
for i in p.glob("**"):
    print(i)
print("\nPath模块下的 rglob(*),当前目录及所有子目录中的所有文件和文件夹:")
for i in p.rglob("*"):
    print(i)
print(f"\nPath模块下的 rglob(**),当前目录及其下所有子目录中的所有文件夹,相当于 glob(**):")
for i in p.rglob("**"):
    print(i)

参考链接:
Python Pathlib与os浅析对比
Python开发中使用 pathlib 模块高效地操作目录及文件
Python路径操作模块pathlib

2.tf.keras.preprocessing.image_dataset_from_directory() 简介

函数原型

tf.keras.preprocessing.image_dataset_from_directory(
    directory,
    labels="inferred",
    label_mode="int",
    class_names=None,
    color_mode="rgb",
    batch_size=32,
    image_size=(256, 256),
    shuffle=True,
    seed=None,
    validation_split=None,
    subset=None,
    interpolation="bilinear",
    follow_links=False,
)

官网地址:https://tensorflow.google.cn/api_docs/python/tf/keras/preprocessing/image_dataset_from_directory

作用
将文件夹中的数据加载到tf.data.Dataset中,且加载的同时会打乱数据。

注: 如果你的目录结构是:

main_directory/
…class_a/
…a_image_1.jpg
…a_image_2.jpg
…class_b/
…b_image_1.jpg
…b_image_2.jpg

然后调用 image_dataset_from_directory(main_directory, labels=‘inferred’) 将返回一个tf.data.Dataset, 该数据集从子目录class_a和class_b生成批次图像,同时生成标签0和1(0对应class_a,1对应class_b),

支持的图像格式:jpeg, png, bmp, gif. 动图被截断到第一帧。

参数

  • directory: 数据所在目录。如果标签是inferred(默认),则它应该包含子目录,每个目录包含一个类的图像。否则,将忽略目录结构。
  • labels: inferred(标签从目录结构生成),或者是整数标签的列表/元组,其大小与目录中找到的图像文件的数量相同。标签应根据图像文件路径的字母顺序排序(通过Python中的os.walk(directory)获得)。
  • label_mode:
    int:标签将被编码成整数(使用的损失函数应为:sparse_categorical_crossentropy loss)。
  • categorical:标签将被编码为分类向量(使用的损失函数应为:categorical_crossentropy loss)。
  • binary:意味着标签(只能有2个)被编码为值为0或1的float32标量(例如:binary_crossentropy)。
    None:(无标签)。
  • class_names: 仅当labels为inferred时有效。这是类名称的明确列表(必须与子目录的名称匹配)。用于控制类的顺序(否则使用字母数字顺序)。
  • color_mode: grayscale、rgb、rgba之一。默认值:rgb。图像将被转换为1、3或者4通道。
  • batch_size: 数据批次的大小。默认值:32
  • image_size: 从磁盘读取数据后将其重新调整大小。默认:(256,256)。由于管道处理的图像批次必须具有相同的大小,因此该参数必须提供。
  • shuffle: 是否打乱数据。默认值:True。如果设置为False,则按字母数字顺序对数据进行排序。
  • seed: 用于shuffle和转换的可选随机种子。
  • validation_split: 0和1之间的可选浮点数,可保留一部分数据用于验证。
  • subset: training或validation之一。仅在设置validation_split时使用。
  • interpolation: 字符串,当调整图像大小时使用的插值方法。默认为:bilinear。支持bilinear, nearest, bicubic, area, lanczos3, lanczos5, gaussian, mitchellcubic。
    follow_links: 是否访问符号链接指向的子目录。默认:False。

Returns
一个tf.data.Dataset对象。

  • 如果label_mode为None,它将生成float32张量,其shape为(batch_size, image_size[0], image_size(1), num_channels),并对图像进行编码。
    否则,将生成一个元组(images, labels),其中图像的shape为(batch_size, image_size[0], image_size(1), num_channels),并且labels遵循下面描述的格式。
    关于labels格式规则:
  • 如果label_mode 是 int, labels是形状为(batch_size, )的int32张量
  • 如果label_mode 是 binary, labels是形状为(batch_size, 1)的1和0的float32张量。
  • 如果label_mode 是 categorial, labels是形状为(batch_size, num_classes)的float32张量,表示类索引的one-hot编码。

有关生成图像中通道数量的规则:

  • 如果color_mode 是 grayscale, 图像张量有1个通道。
  • 如果color_mode 是 rgb, 图像张量有3个通道。
  • 如果color_mode 是 rgba, 图像张量有4个通道。

参考链接
tf.keras.preprocessing.image_dataset_from_directory() 简介

3.配置数据集

● shuffle():打乱数据,关于此函数的详细介绍可以参考:https://zhuanlan.zhihu.com/p/42417456
● prefetch():预取数据,加速运行

prefetch()功能详细介绍:CPU 正在准备数据时,加速器处于空闲状态。相反,当加速器正在训练模型时,CPU 处于空闲状态。因此,训练所用的时间是 CPU 预处理时间和加速器训练时间的总和。prefetch()将训练步骤的预处理和模型执行过程重叠到一起。当加速器正在执行第 N 个训练步时,CPU 正在准备第 N+1 步的数据。这样做不仅可以最大限度地缩短训练的单步用时(而不是总用时),而且可以缩短提取和转换数据所需的时间。如果不使用prefetch(),CPU 和 GPU/TPU 在大部分时间都处于空闲状态,无GPU/TPU加速时,prefetch()不起作用。

3.CNN网络模型结构

本文网络模型按一下方式构建:
在这里插入图片描述

4.Dropout层 tf.keras.layers.Dropout() 介绍

函数原型

tf.keras.layers.Dropout(rate, noise_shape=None, seed=None, **kwargs)

官网地址:https://tensorflow.google.cn/api_docs/python/tf/keras/layers/Dropout

作用
防止过拟合,提高模型的泛化能力。

参数
rate:0~1之间的小数。让神经元以一定的概率rate停止工作,提高模型的泛化能力。
noise_shape:1D张量类型,int32表示将与输入相乘的二进制丢失掩码的形状;例如,如果您的输入具有形状(batch_size, timesteps, features),并且你希望所有时间步长的丢失掩码相同,则可以使用noise_shape=[batch_size, 1, features],就是哪一个是1,那么就在哪一维度按照相同的方式dropout,如果没有1就是普通的。
这个参数有篇文章我觉得解释的很好,dropout中的noise_shape参数的作用
seed:随机种子
参考链接
Dropout层 tf.keras.layers.Dropout() 介绍

5.编译参数

在准备对模型进行训练之前,还需要再对其进行一些设置。以下内容是在模型的编译步骤中添加的:

● 损失函数(loss):用于衡量模型在训练期间的准确率。
● 优化器(optimizer):决定模型如何根据其看到的数据和自身的损失函数进行更新。
● 指标(metrics):用于监控训练和测试步骤。以下示例使用了准确率,即被正确分类的图像的比率。

总结

通过本次的学习,能通过tenserflow框架创建cnn网络模型进行天气识别,并了解到pathlib在文件操作中的应用,学会image_dataset_from_directory()的方式加载训练及验证数据,知道在使用GPU或TPU加速时,可采用prefetch的方式预取数据,节约时间,新增dropout层为了防止过拟合。

SARIMAX时间序列预测实战:从季节性识别到业务归因 时间序列预测中,当数据呈现固定周期重复模式(如日周期、周周期、月周期),传统ARIMA模型因缺乏对‘节奏感’的建模能力而表现滞后。SARIMAX作为其增强版本,在保留ARIMA短期记忆机制基础上,引入季节性结构(p,d,q)(P,D,Q)s,并支持外生变量(exogenous variables)融合,实现统计规律与业务驱动因素的解耦建模。该模型具备强可解释性——系数可直接映射为‘去年同月影响0.83单位’‘气温每升1℃销量增0.45杯’等业务语言,广泛应用于零售库存、能源负荷、物流调度等场景。本文聚焦真实 阅读详情

相关推荐

深度学习100例-卷积神经网络(CNN)天气识别 | 第5天

文章目录一、前期工作1. 设置GPU2. 导入数据3. 查看数据二、数据预处理1. 加载数据2. 可视化数据3. 再次检查数据4. 配置数据集三、构建CNN网络四、编译五、训练模型六、模型评估 一、前期工作 本文将采用CNN实现多云、下雨、晴、日出四种天气状态的识别。较上篇文章,本文为了增加模型的泛化能力,新增了Dropout层并且将最大池化层调整成了平均池化层。 我的环境: 语言环境:Python3.6.5 编译器:jupyter notebook 深度学习环境:TensorFlow2 来自专栏:【深

“365天深度学习训练营”报名进行中~ 1万+

【深度学习——基于CNN的天气识别】

Image_batch是形状的张量(32,180,180,3)。这是一批形状180x180x3的32张图片(最后一维指的是彩色通道RGB)。shuffle():打乱数据,关于此函数的详细介绍可以参考:https://zhuanlan.zhihu.com/p/42417456。Label_batch 是形状(32,)的张量,这些标签对应32张图片。本文采用CNN实现多云、下雨、晴、日出四种天气状态的识别。cache():将数据集缓存到内存当中,加速运行。prefetch():预取数据,加速运行。

qq_45786199的博客 850

高速公路天气图像分类数据集:16000张实拍图+精细化气象标注

天气图像分类是智能交通系统中环境感知的基础任务,其核心在于模型对真实道路场景中光照变化、能见度衰减与降水干扰的鲁棒理解。基于大气散射原理与气象学定义,该任务需建模低频全局退化(如雾导致的对比度坍缩)与局部物理线索(如雨痕反射、路面湿滑状态)的耦合关系。技术价值体现在提升车载ADAS、边缘AI巡检及小样本迁移学习在复杂交通工况下的泛化能力。典型应用场景包括高速监控视频流实时天气判别、YOLO/CLIP等模型在雨雾条件下的失效诊断、以及跨地域摄像头的域适应验证。本数据集以真实采集的16,000张高速公路图像和结

weixin_34277853的博客 406

基于深度学习的天气识别算法对比研究-TensorFlow实现-卷积神经网络(CNN) | 第1例(内附源码+数据)

🥧 我的环境: 语言环境:Python3.6.5 编译器:Jupyter Lab 深度学习环境:TensorFlow2.4.1 🥂 相关教程: 编译器教程:新手入门深度学习 | 1-2:编译器Jupyter Notebook 深度学习环境配置教程:新手入门深度学习 | 1-1:配置深度学习环境 一个深度学习小白需要的所有资料我都放这里了:新手入门深度学习 | 目录 建议你学习本文之前先看看下面这篇入门文章,以便你可以更好的理解本文: 🍨 新手入门深度学习 | 2-1:图像数据建模流程示例 强烈建议大

“365天深度学习训练营”报名进行中~ 3101

深度学习LSTM实现短期电力负荷预测:从数据构造到调参实战

时间序列预测是电力系统调度与能源交易的核心基础,而短期电力负荷预测更是直接关系到机组启停、备用容量与现货市场报价的准确性。传统统计方法在处理节假日、天气耦合等非线性因素时往往力不从心,基于深度学习的长短期记忆网络(LSTM)则能通过门控机制自动学习历史负荷中的长期依赖与周期性规律,成为能源领域广泛采用的高精度预测方案。该技术适用于电网企业数据工程师、能源算法工程师及电力负荷预测相关研究人员,在智能电网、能源管理等场景中具有重要价值。要构建一个可靠的LSTM预测模型,需重点关注数据窗口构造、特征对齐、归一化方

weixin_33910759的博客 408

下雨检测图像数据集.zip

Rain12600和Rain1400是用于图像去雨。 数据描述 该数据集是使用的公开数据集Rain12600和Rain1400,其中雨天图像包含 1,000 张干净的图像。每个干净的图像用于生成 14 个具有不同条纹方向和强度的雨天图像。其中随机选择了900张图像进行训练,其余图像用于测试。

第P3周:天气识别

通过本周的学习,我进一步熟悉了深度学习程序的框架,并学会了读取并加载本地的数据,但是代码运行后训练集的精度始终无法达到93%,在优快云上看了其他人的博客后尝试修改了一下网络的结构,训练集的精度最高也只能达到92.1%,对于CNN网络仍需要继续学习。

weixin_60590673的博客 221

手写数字数据集MNIST

文章目录一、 简介二、下载MNIST数据集训练集和测试集的长度输出图像数据和标记数据的形状显示手写数字图片输出数据集中的第1个样本显示图片 一、 简介 MNIST是一个非常有名的手写体数字识别数据集(手写数字灰度图像数据集),在很多资料中,这个数据集都会被用作深度学习的入门样例。 MNIST数据集是由0到9的数字图像构成的。训练图像有6万张,测试图像有1万张。MNIST数据集是NIST数据集的一个子集,它包含了60000张图片作为训练数据,10000张图片作为测试数据。由250个不同的人手写而成。 每一张图

qq_37289115的博客 1万+

第T3周:天气识别

本文将采用CNN实现多云、下雨、晴、日出四种天气状态的识别,为了增加模型的泛化能力,新增了Dropout层并且将最大池化层调整成了平均池化层。

2301_80301439的博客 356

WRF进阶:定制Vtable文件解析非标准气象数据源——以ERA5-Land土壤湿度为例

本文详细介绍了如何为WRF模式定制Vtable文件,以解析非标准气象数据源ERA5-Land的土壤湿度数据。通过剖析GRIB文件结构、详解Vtable编写逻辑与语法,并提供了从数据验证到metgrid配置的完整实战流程,帮助用户突破标准数据源限制,实现高精度陆面过程模拟。

o4p5q6r7s的博客 393

ArcGIS中标注(label)的使用技巧

标注是显示在地图上的文字信息,它是出图中不可或缺的重要元素。标注的样式丰富,并且放置位置灵活,因此带来了对标注控制的难度。例如地质图里的上下标,或是一些分式的标注,就必须使用代码编程来实现。这篇文章就主要结合几个实例来讨论一下标注的使用技巧,以及在ArcGIS软件中的实现。

2万+

深度学习 Day 31——YOLOv5-Backbone模块实现

365天深度学习训练营 [第二十二周]——本期博客我们将利用YOLOv5算法中的Backbone模块搭建网络,了解学习一下Backbone的结构,方便后续我们的YOLOv5算法的学习。

北天的博客 1413

商城系统全链路压测实战指南

全链路压测是模拟真实用户行为和生产环境流量,验证整个系统在高压下的稳定性和性能表现的关键手段。

monk all the way 1231

第P8周:YOLOv5-C3模块实现

在YOLOv5中,C3模块是一个关键的卷积模块,主要用于特征提取和融合。C3模块的设计灵感来源于ResNeXt中的基础块,结合了多个卷积核的卷积操作,可以增加模型的感受野并减少参数数量。能够解决由于Intel OpenMP库导致的问题,通常用于避免在使用这些库时出现的多线程冲突。# 出现Kernel Restarting重启问题时,再次使用1x1的卷积核来减少通道数。使用1x1的卷积核来减少通道数。使用3x3的卷积核来扩大感受野。

2301_80301439的博客 505

TC3XX - MCAL知识点(三十九):AURIX™ TC3xx 的EDSADC实现旋变解码功能(应用笔记记录)

本文总结了英飞凌应用笔记中关于EDSADC旋变解码系统的关键内容。系统通过调幅解调获取电机位置和速度信号,支持内外载波生成方案,其中内部载波方案更常用(需2个DSADC通道)。重点介绍了滤波器链配置建议(避免FIR1)、系统条件要求(如偶数积分周期)以及群延迟计算方法。特别分析了SDCAP功能对硬件延迟的补偿机制,指出温度等因素可能导致外部电路延迟变化,需通过计数器测量并通过软件调整积分器起始点来消除角度误差。文中还提供了不同硬件延迟情况下的信号处理示例。

梦想技术家 466

Cleo Synchronization接口任意文件读取漏洞CVE-2024-50623 附POC

微信公众号搜索:南风漏洞复现文库该文章 南风漏洞复现文库 公众号首发Cleo。

nnn2188185的博客 482

基于深度学习的山体滑坡智能检测系统设计与实践

计算机视觉技术在自然灾害预警领域展现出巨大潜力,特别是结合深度学习的智能监测系统。通过分析时序图像特征,这类系统能有效识别地表形变等地质灾害前兆。DL00934项目创新性地将YOLOv5改进模型与3D CNN结合,构建了三级检测架构,在滑坡预警中实现63%误报率降低和42小时预警提前。系统支持卫星影像、无人机航拍等多源数据输入,并针对地质数据特性设计了地形扭曲增强等特殊数据增强策略。该技术方案已在云南等地成功部署,验证了AI在地质灾害防治中的工程价值,为边缘计算设备上的轻量化部署提供了可行范例。

weixin_29061509的博客 285

AutoSAR EcuM系列01- EcuM模块的功能概述和变体类型

在【ECU的软硬件架构】文章中我们了解ECU的功能和组成,那么ECU具体是怎么启动的呢?我们知道,AutoSAR标准架构有三层,即APPL应用层、RTE层和BSW层。而这些层又被进一步划分为更多单独的组件,如BSW层可能有80多个组件。在ECU启动时,这些组件必须相互交互,有时也必须以某种顺序交互。这些组件的启动顺序由ECU管理器模块或EcuM处理。EcuM负责整个ECU的初始化和去初始化,包括对一些系统模块如。......

1767

python学习day-11 机器学习&深度学习基本概念

一、机器学习(Machine Learning, ML) 1.1 概念:多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能。 1.2 学科定位:人工智能(ArtificialIntelligence, AI)的核心,是使计算...

weixin_34413802的博客 115

RT-DETR改进策略【卷积层】| CVPR-2020 Strip Pooling 空间池化模块 处理不规则形状的对象 含二次创新

一、本文介绍 本文记录的是利用Strip Pooling模块优化RT-DETR的目标检测网络模型。Strip Pooling结合了长而窄的卷积核形状在一个空间维度上的长程关系捕捉能力和在另一个空间维度上的局部细节捕捉能力,有效地处理复杂的场景信息。这一机制通过采用1×N1×N1×N或N×1N×1N×1的池化核形状来适应不同的图像特征,提高模型对目标形状和分布的适应性。在场景解析网络中,Strip Pooling可以被用于提升对具有长程带状结构或离散分布目标的解析能力,特别是在复杂场景或不同对象布局条件下效果

Limiiiing的博客 582

LinePhone3.2.7(android端最新版本) sip客户端

SIP客户端For android:LinePhone3.2.7(最新版本),官网地址:http://www.linphone.org/

深度学习(2)---循环神经网络(RNN)

循环神经网络(Recurrent neural networks,简称RNN)是针对序列数据而生的神经网络结构,核心在于循环使用网络层参数,避免时间步增大带来的参数激增,并引入隐藏状态(Hidden State)用于记录历史信息,有效的处理数据的前后关联性。考虑这样一个问题,如果要预测句子的下一个单词是什么,一般需要用到当前单词以及前面的单词,因为句子中前后单词并不是独立的。比如,当前单词是“很”,前一个单词是“天空”,那么下一个单词很大概率是“蓝”。

m0_62881487的博客 2185

RU DOS版、EFI版32bit/64bit BIOS常用工具

DOS版、EFI版的RU工具,可用来查看IO、MEM、PCI、SMBIOS等资源。亲测在EFI SHELL下可用。

第P9周:YOLOv5-Backbone模块实现

Backbone的主要作用是将输入图像转化为多层特征图,这些特征图包含了图像中的重要信息,如边缘、纹理和形状等。:这是卷积神经网络中常用的基础模块,主要由卷积层、批量归一化层(BN层)和激活函数组成。:通过C3模块和SPPF模块,Backbone能够提取不同尺度的特征,提高对不同大小目标的检测能力。:Backbone通过卷积操作提取图像中的局部特征,并通过BN层和激活函数进行规范化和非线性变换。:空间金字塔池化模块,通过引入不同的池化核来提取特征图中不同大小目标的特征。

2301_80301439的博客 951

怀旧版电脑GBC模拟器

再现原版GBC掌机的界面,电脑运行连游戏界面都一样大小,很怀旧,很真实,(英文版)强烈推荐,很小的文件,很难才找到的。

Qwen3-TTS声音克隆零基础教程:3秒复制你的声音说10国语言

本文介绍了如何在星图GPU平台上自动化部署Qwen3-TTS-12Hz-1.7B-Base镜像,实现3秒声音克隆并支持10国语言合成的功能。该技术可广泛应用于多语言视频配音、个性化语音助手等场景,让用户轻松复制自己的声音进行跨语言交流。

weixin_36304957的博客 53

城市短时交通流预测建模实战:从数据陷阱到可解释瓶颈识别

交通流预测是智能交通系统的核心基础任务,涉及时间序列建模、图结构学习与多源异构数据融合等关键技术。其核心原理在于协同刻画路段间空间依赖与动态演化规律,并在精度、实时性与可解释性之间取得工程平衡。技术价值体现在支撑信号优化、事件响应与拥堵治理等城市治理场景,尤其适用于高干扰、低信噪比的真实路网环境。本文聚焦‘多源异构数据’与‘可解释瓶颈识别’两大关键挑战,以武汉光谷片区为实证场域,详解如何在GPS漂移、视频误报、标签稀疏等现实约束下构建轻量、动态、可归因的预测模型,为数学建模竞赛与边缘部署场景提供端到端落地路

weixin_30457551的博客 377

OpenClaw Skill开发:自定义技能实战指南

在OpenClaw的世界里,Skill(技能)是Agent能力的核心载体。简单来说,Skill就是一份Markdown格式的指令文件何时触发——在什么场景下应该激活这个技能做什么——具体执行什么操作、遵循什么流程怎么做——调用哪些工具、使用什么参数、遵循什么规范Skill本质上是一种声明式的能力注入机制。你不需要修改OpenClaw的源代码,只需要在指定目录放置一个SKILL.md文件,Agent就自动获得了新能力。

七夜zippoe的博客 857

数据泄漏实操识别指南:特征工程与时间序列建模中的5大陷阱

数据泄漏是机器学习模型泛化失败的核心根源,本质是训练过程意外接触了测试阶段不可用的信息。其原理源于时间因果断裂、ID记忆效应与预处理污染等系统性偏差,技术价值在于保障模型在真实业务场景中的可信预测能力。典型应用场景包括航空安全风险预测、风电功率 forecasting、金融风控等强时序约束与高后果决策领域。本文聚焦数据泄漏的实操识别,深入剖析特征工程陷阱、时间序列建模漏洞、高基数ID处理误区及预处理流水线失效等高频问题,结合航空安全建模案例,提供可落地的防泄漏checklist与红蓝对抗式诊断方法。

abxlep7702的博客 402
上一篇: 深度学习 Day2——T2彩色图片分类
下一篇: 深度学习 Day4——T4猴痘病识别
LittleRuby
博客等级 码龄7年 465粉丝 38原创
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值