- 博客(50)
- 收藏
- 关注
RSS订阅原创 大模型本地部署
为了运行之后本地部署的Qwen-7B-Chat模型，我们需要根据要求在Anaconda中安装一个满足模型运行要求的虚拟环境，其官方的配置环境要求如下，这里配置的环境为使用GPU Pytorch的版本。点击其中的模型文件，进入模型文件页面，之后点击右侧的下载模型。第二步：安装通义千问官方说的运行Qwen-7B需要安装的依赖。第一步：安装modelscope可以用来下载模型。SDK安装安装工具包下载。设置模型的下载地址。
2024-12-01 13:43:42
2238
原创 大模型KS-LLM
本周阅读了一篇大模型相关的论文，论文模型（KS-LLM）利用三元组（triples）有效地从证据文档中选择有助于回答问题的知识片段。具体而言，KS-LLM首先基于输入问题生成三元组，然后从证据文档中选择与三元组最相似的证据句子，最后结合证据句子和三元组，辅助大型语言模型生成答案。这种方法结合了多种形式的知识，包括文本证据句子和结构化三元组，充分利用了不同形式知识之间的交互和互补关系。
2024-11-16 16:52:46
845
原创 联盟链1.2
2.安装需要的软件包，yum-util提供yum-config-manager功能，另外两个是devicemapper驱动的依赖。https://golang.org/dl/ - 翻墙 https://studygolang.com/dl - 国内镜像源。下载并执行fabric的引导脚本bootstrap.sh。6.给docker-compose添加可执行权限。4.安装docker，出现界面都按y。5.安装docker-compose。1.yum包更新到最新。3.设置yum安装源。
2024-09-08 13:53:35
539
原创 联盟链1.1
一般来说，区块链是一个由分布式网络中的节点维护的不可篡改的账本。这些节点通过执行被共识协议验证过的交易来各自维护一个账本的副本，账本以区块的形式存在，每个区块通过哈希和之前的区块相连。第一个被广为人知的区块链应用是加密货币比特币，而其他应用都是从它衍生出来的。以太坊是另一种加密货币，它采用了不同方法，整合了许多类似比特币的特征，但是新增了智能合约为分布式应用创建了一个平台。比特币和以太坊属于同一类区块链，我们将其归类为“公共非许可（Public Permissionless）”区块链技术。
2024-08-31 11:04:44
1225
原创 机器学习周记（第四十六周：AirFormer）2024.7.1~2024.7.7
本文主要讨论基于Transformer的空气质量预测。首先本文简要介绍了多头注意力机制（MSA）、 具有潜变量的变分模型。其次本文展示了题为AirFormer: Predicting Nationwide Air Quality in China with Transformers的论文主要内容。该文提出了一种名为 AirFormer 的新型 Transformer 架构，用于集体预测中国全国范围内的空气质量，并以前所未有的精细空间粒度覆盖数千个地点。
2024-07-07 14:47:23
894
2
原创 机器学习周记（第四十五周：Graphformer）2024.6.24~2024.6.30
本周阅读了一篇利用图神经网络结合Transformer的长时间序列预测论文，提出了一种新的模型Graphformer。Graphformer通过改进稀疏自注意力机制，结合图卷积网络（GCN）考虑不同尺度下变量之间的空间相关性，实现了Transformer架构与GCN的紧密集成。此外，论文还开发了自注意力降采样模块、多尺度特征融合操作以及时间惯性融合操作。实验分析表明，Graphformer在预测精度上显著优于之前的最新方法。
2024-06-30 15:24:46
694
原创 机器学习周记（第四十四周：Robformer）2024.6.17~2024.6.23
本周阅读了一篇利用改进 Transformer 进行长时间序列预测的论文。论文模型为 Robformer ，其主要强调了在长时间序列预测问题上模型的鲁棒性。Robformer 主要包括几个关键模块：Encoder、Decoder、鲁棒序列分解模块、季节性成分调整模块。Encoder 主要侧重于从历史信息中提取周期性依赖关系，以供解码器使用。Decoder 包含两部分：堆叠的自相关机制以获得季节性部分，以及堆叠的稳健趋势预测块用于趋势部分。
2024-06-23 11:59:05
1294
原创 机器学习周记（第四十三周：MCformer）2024.6.10~2024.6.16
本周阅读了一篇关于多变量时间序列的论文。论文模型 MCformer 结合了 CI 策略的数据扩展优势，同时减轻了通道间相关性遗忘的问题。MCformer 使用了一种称为混合通道模块的方法，以增强多变量时间序列数据集的表示能力，同时使用原生的 Transformer 编码器来建模序列的长期和跨变量特征。实验结果表明，在多变量时间序列预测任务中，混合通道策略优于纯 CI 策略。
2024-06-15 21:30:53
1148
原创 机器学习周记（第四十二周：AT-LSTM）2024.6.3~2024.6.9
本周阅读了题为Water Quality Prediction Based on LSTM and Attention Mechanism: A Case Study of the Burnett River, Australia的论文。这项工作提出了一种基于长期短期记忆的神经网络和 注意力机制的混合模型——AT-LSTM。其中，LSTM缺乏对子窗口特征进行不同程度关注的能力，这可能会导致一些相关信息被忽略，无法重视时间序列的重要特征。
2024-06-09 10:13:01
980
1
原创 机器学习周记（第四十一周：Crossformer）2024.5.27~2024.6.2
本文主要讨论Crossformer。首先本文简要介绍了self-attention的框架。其次本文展示了题为CrossFormer: A Versatile Vision Transformer Hinging on Cross-scale Attention的论文主要内容。该文提出了跨尺度嵌入层（CEL）和长短距离注意力（LSDA）。通过以上两种设计，该文实现了跨尺度的注意力。大量实验表明，CrossFormer 在图像分类、对象检测、实例分割和语义分割任务方面优于其他视觉Transformer。
2024-06-02 10:06:38
886
原创 机器学习周记（第四十周：ConvLSTM）2024.5.20~2024.5.26
本文主要讨论SA ConvLSTM的模型。本文简要介绍了LSTM的结构以及运行逻辑，并展示了ConvLSTM。其次本文展示了题为Self-Attention ConvLSTM for Spatiotemporal Prediction的论文主要内容。这篇论文提出了Self-attention ConvLSTM模型，该模型将自注意力机制引入到 ConvLSTM 中。具体来说，提出了一种新颖的自注意力记忆（SAM）来记忆在空间和时间域方面具有远程依赖性的特征。该文在多个数据集上进行实验，从数据角度证明了该网络的
2024-05-26 11:00:00
825
原创 机器学习周记（第三十九周：语义分割）2024.5.13~2024.5.19
本周继续了语义分割的学习，主要学习了DeepLabV3+训练部分的内容以及相关代码的实现。DeepLabV3+训练所使用的数据集主要采用VOC格式，包含样本和标签。样本一般为RGB图像，而标签为灰度图，其中每一个像素点的内容是一个数字，比如0、1、2、3、4、5……，代表这个像素点所属的类别。DeepLabV3+训练所使用的损失主要为Cross Entropy Loss或者Dice Loss，其中Dice系数为评价指标，所以计算损失需要使用Dice Loss=1-Dice。最后通过替换训练文件。
2024-05-19 12:14:48
1146
原创 机器学习周记（第三十八周：语义分割）2024.5.6~2024.5.12
本周继续了语义分割的学习，主要学习了DeepLabV3+的部分实现思路，即DeepLabV3+的整个模型的预测过程，并通过代码进行了实现。待预测图片首先通过主干网络（MobilenetV2）进行特征提取，得到两个有效特征层，一个有效特征层是输入图片高和宽压缩两次的结果，一个有效特征层是输入图片高和宽压缩四次的结果。然后再通过加强特征提取，最后输出预测结果。DeeplabV3+在论文中采用的是Xception系列作为主干特征提取网络，除了Xception主干网络外，还可以使用ResNet和等。这里主要使用。
2024-05-12 10:23:08
677
原创 机器学习周记（第三十七周：语义分割）2024.4.29~2024.5.5
DeepLabV3+ 是由Google Brain团队开发的深度学习模型，专注于语义分割任务。它采用深度卷积神经网络和空间金字塔池化等先进技术，能够准确地捕获图像的语义信息。通过空洞卷积和多尺度预测等策略，DeepLabV3+能够在不同尺度下有效地分割图像，同时通过解码器模块和融合级联特征进一步提高分割精度。这使得DeepLabV3+成为处理复杂场景和提取细节信息的强大工具，在图像分割、医学图像分析等领域具有广泛的应用前景。
2024-05-05 12:11:48
768
原创 机器学习周记（第三十六周：语义分割）2024.4.22~2024.4.28
本周继续学习了语义分割的内容，主要包括 FCN（全卷积网络）、双线性插值和膨胀卷积等方面。FCN 通过上采样的倍率可以划分为 FCN-32S、FCN-16S、FCN-8S，它们从不同程度上利用了下采样的信息。双线性插值是一种常用的图像处理技术，经常用于上采样操作，将特征图从低分辨率插值到高分辨率。膨胀卷积通过在卷积核的内部引入一个可调参数，膨胀率（Dilation Rate），来扩展卷积核的感受野，以此捕获更广泛的上下文信息，而无需增加参数或降低分辨率，但膨胀卷积也会导致“gridding effect”。
2024-04-28 12:00:00
980
原创 机器学习周记（第三十五周：语义分割）2024.4.15~2024.4.21
本周主要学习了语义分割的基本概念及其在计算机视觉领域中的应用。了解了语义分割的几种经典网络，如全卷积网络（FCN）、DeepLabV3和LR-ASPP等。深入理解了这些网络的结构和工作原理，特别是FCN网络，它通过替换传统CNN的全连接层为卷积层，实现对图像的像素级分类。此外，还知道了语义分割的常用数据集格式、评价指标以及标注工具，如Labelme和EISeg，并详细讨论了转置卷积的机制和其在神经网络中上采样的应用。最后，学习了FCN网络的结构和原理，理解了其在处理任意尺寸输入图像和保留空间信息方面的优势。
2024-04-21 11:04:16
1018
1
原创 机器学习周记（第三十四周：文献阅读[GNet-LS]）2024.4.8~2024.4.14
本周阅读了一篇时间序列预测论文。论文模型为GNet-LS，主要包含四个模块：粒度划分模块（GD），变量间外部关系挖掘模块（ER），目标变量内部关系挖掘模块（IC），特征融合模块（DF）。首先，通过粒度划分模块将原始多元时间序列序列划分为多粒度序列，接着由变量间外部关系挖掘模块捕获外部关系，目标变量内部关系挖掘模块挖掘内部相关性，最后通过数据融合模块获得最终的预测结果。GNet-LS主要由CNN、LSTM、Attention、自回归组成。
2024-04-14 12:00:00
1090
原创 机器学习周记（第三十三周：文献阅读[GWO-GART]）2024.4.1~2024.4.7
本周阅读了一篇使用GAT结合GRU预测PM2.5浓度的文章。论文模型为图注意力循环网络（GART），首次提出了一种新型的多层GAT架构，可以循环地提取城市的空间特征，并获取城市之间更多的隐含关联。其次，利用灰狼优化（GWO）来选择模型的最佳超参数集。这种自动化方法有助于优化GART的网络结构。
2024-04-07 12:00:00
850
原创 机器学习周记（第三十二周：文献阅读-时空双通路框架）2024.3.25~2024.3.31
本周阅读了一篇运用GNN进行时间序列预测的论文。论文主要提出了一种分离空间和时间编码器的双通路框架，用于通过有效的时空表示学习准确预测水温，特别是极端的高水温。框架主要使用Transformer的自注意机制构造空间和时间编码器执行任务，同时采用了各种补丁嵌入方法和空间特征位置嵌入方法的组合。此外，本周还运用GAT模型进行了一个时间序列预测的实验。
2024-03-31 15:29:16
1306
原创 机器学习周记（第三十一周：文献阅读-GGNN）2024.3.18~2024.3.24
本周阅读了一篇利用图神经网络（GNN）与门控循环单元（GRU）进行配水网络（WDN）水质预测的论文。论文模型（GGNN）实现了扩展图邻接矩阵在有向图中加入双向信息流，从而增强了模型的双向学习能力。同时模型还利用掩码操作模拟了站点故障导致数据缺失的情况，根据正常站点数据也能对故障站点进行预测，并且还能解决模型过拟合或者欠拟合的问题。
2024-03-24 15:00:00
1155
原创 机器学习周记（第三十周：文献阅读-SageFormer）2024.3.11~2024.3.17
本周阅读了一篇时间序列预测的论文，改论文模型（SageFormer）使用GNN结合Transformer的框架实现。SageFormer在使用Transformer建模序列间依赖关系的同时还注重于使用GNN建模序列间依赖关系，减少跨序列的冗余信息。模型主要包括两个过程：全局标记的生成、迭代的消息传递。全局标记的生成为每个序列添加了随机初始化的可学习标记，以封装它们对应的全局信息，以此增强序列感知能力。迭代的消息传递使得全局信息在每个序列的所有标记之间进行传播，以此捕获序列内部和序列间的依赖关系。
2024-03-17 11:00:00
1223
2
原创 机器学习周记（第二十九周：文献阅读[MAST-GNN]）2024.3.4~2024.3.10
本周阅读了一篇关于时空图神经网络用于空域复杂度时间序列预测的论文。论文的模型是多模态自适应时空图神经网络（MAST-GNN），主要包含多模态自适应图卷积模块（MAGCN）和基于自注意机制的膨胀因果卷积层（TCN-Att）。前者主要用于融合时间序列的空域交通流和地理位置等空间信息。后者主要用于从短期和长期两个角度融合时间序列的时间信息。
2024-03-10 12:00:00
1017
原创 机器学习周记（第二十八周：文献阅读-GSTPro）2024.2.26~2024.3.3
本周阅读了一篇关于使用图时空神经网络和异常评分器来解决在非规则采样的多元时间序列上检测异常的论文。图时空处理主要基于神经控制微分方程，从空间和时间角度对多元时间序列进行有效建模，即使数据中包含缺失值。异常评分器主要基于高斯分布，不需要与真实值进行比较，避免了在计算异常评分时因缺失值而产生的问题，其次它完全基于预测统计，不包含可训练参数。异常评分器的主要原理是将当前预测值与历史预测值进行比较，计算异常可能性。
2024-02-04 12:00:00
1173
1
原创 机器学习周记（第二十七周：文献阅读-EIGRN）2024.1.22~2024.1.28
本周阅读了一篇通过时空图神经网络作为基准模型实现时间序列缺失值插补的论文。论文模型通过融合基于先验知识的图结构信息（显式图，静态图）和基于节点嵌入图学习的图结构信息（隐式图，动态图），能够适配任何时间序列的缺失值插补。同时该模型不仅参考了正向的时间序列信息，还参考了反向时间序列信息，充分利用时间序列中的有效值，增强了插补值对多元时间序列关系依赖影响中的真实性。
2024-01-26 20:55:10
1194
3
原创 机器学习周记（第二十六周：文献阅读-DPGCN）2024.1.15~2024.1.21
本周阅读了一篇关于动态时空图神经网络的论文，该论文的模型（TPGCN）主要用于处理多元时间序列预测任务。TPGCN主要包含如下四个模块：时间感知离散图结构估计模块（Time-aware Discrete Graph Structure Estimation Module，TADG Module）、 时间卷积模块（Temporal Convolution Module，TC Module）、动态个性化图卷积模块（Dynamic Personalized Graph Convolution Module，DPG
2024-01-21 17:16:16
2568
1
原创 机器学习周记（第二十五周：文献阅读-DSTIGNN）2024.1.8~2024.1.14
本周学习了一篇基于STFGNNs的多变量时间序列预测的论文，论文的模型为DSTIGNN（动态时空交互图神经网络），主要包括如下四个模块：时空交互学习模块（Spatiotemporal Interactive Learning Module）、动态图推理模块（Dynamic Graph Inference Module）、动态图卷积模块（Dynamic Graph Convolution Module）以及输出模块（Output Module）。动态图推理模块通过融合两类异构信息对变量之间的动态空间关联进行建
2024-01-14 12:00:00
1216
原创 机器学习周记（第二十四周：文献阅读-DSTGN续）2024.1.1~2024.1.7
本周继续阅读了上周的论文，明白了论文模型DSTGN中的各个模块。DSTGN主要包括动态图矩阵估计、自适应导引传播、时间卷积模块三大模块。其中动态图矩阵估计又包括节点级信息融合、动态依赖推断、图矩阵级信息融合、图损失四个模块；自适应导引传播包括引导矩阵估计器、自适应传播两个模块。动态图矩阵估计能够基于动态语义信息和静态拓扑信息有效捕获节点间的动态依赖关系，自适应导引传播能够根据网络不同层的参数和学习到的图自动改变邻居之间的权重。
2024-01-07 12:00:00
998
原创 机器学习周记（第二十三周：文献阅读-DSTGN）2023.12.25~2023.12.31
本周阅读了一篇关于GNN用于多元时间序列的时空预测的文章，文章的模型是一个具有自适应传播机制的动态时空图网络（dynamic spatio-temporal graph network with adaptive propagation mechanism，DSTGN），该模型包含了一种新的动态图矩阵估计方法来建模隐藏在数据中的变量之间的动态依赖关系，无需任何先验知识。它根据变化的图信号和学习到的节点嵌入来推断图结构，允许模型仍然调整测试集中节点之间的权重。同时为了充分利用多层网络的能力，还包含了一个自适应
2023-12-31 12:00:00
2744
原创 机器学习周记（第二十二周：文献阅读-MAGNN续）2023.12.18~2023.12.24
本周深入学习了MAGNN模型内部的结构，主要包括：多尺度金字塔网络、自适应图学习模块、多尺度时序图神经网络、尺度融合模块、输出模块与损失函数六大模块。其中多尺度金字塔网络用于捕获原始时间序列在不同尺度上的特征表示。自适应图学习模块用于捕获样本间的依赖关系，最终输出的是邻接矩阵。多尺度时序图神经网络用于根据输入的不同尺度时间序列和邻接矩阵进行时序卷积操作，得到最终的特定尺度下的特征表示。尺度融合模块加权融合特定尺度表示以捕获整个原始时间序列的时间模式。最终的多尺度特征表示被送入包括两个卷积神经网络的输出模块
2023-12-24 12:00:00
1086
原创 机器学习周记（第二十一周：文献阅读-MAGNN）2023.12.11~2023.12.17
本周阅读了一篇关于使用GNN进行时间序列预测的论文。该论文模型的主要实现了在捕获时间序列不同尺度上的时间依赖关系外，还捕获了在不同尺度上变量之间的内部联系，例如空间上的依赖关系。同时还编写了论文提供的相关代码，了解了论文模型的定义。
2023-12-16 22:45:33
1091
1
原创 机器学习周记（第二十周：文献阅读-TCN and LSTM）2023.12.4~2023.12.10
本周阅读了一篇关于TCN和LSTM进行光伏功率预测的文章，光伏功率数据是非线性不平稳的数据，在一定程度上也能反应论文模型在水质预测方面的效果。论文模型可以通过单步或者多步对光伏功率进行预测，实验结果表明，其具有非常优异的表现。本周也针对论文模型进行了简单的复现，预测结果并不非常准确，仍需进一步优化和调参。
2023-12-10 14:22:37
1853
1
原创 机器学习周记（第十九周：文献阅读-TCN and RNN）2023.11.27~2023.12.3
本周阅读了一篇混沌时间序列预测的论文，论文模型主要使用的是时间卷积网络（Temporal Convolutional Network，TCN）、LSTM以及GRU。在数据集方面除了使用现实的时间序列数据外，还通过若干混沌系统生成了一些混沌的时间序列数据，这些数据没有现实方面的意义，但可以用来证明论文模型的实用性。因为混沌时间序列在现实世界普遍存在，例如水质，股票，天气等，所以论文模型也有运用于水质预测的潜力。
2023-12-03 12:54:42
1240
1
原创 机器学习周记（第十八周：GAN.pt3）2023.11.20~2023.11.26
本周继续了GAN相关内容的学习，明白了即使GAN能按照需求正常生成图片，仍然存在生成图像多样性不足的问题，比如生成的人像都是一种肤色，这是GAN创造力不足的体现。想要客观地评判GAN生成结果是否多样化，可以使用Diversity和FID两种方法判别。除此以外还学习了Conditional GAN（CGAN），在有标注样本的情况下让GAN根据我们输入的条件生成图像，以及进一步学习了Unsupervised Conditional Generation，在没有标注样本的情况下让GAN根据我们输入的条件生成图像。
2023-11-26 12:00:00
1043
1
原创 机器学习周记（第十七周：GAN.pt2）2023.11.13~2023.11.19
本周继续学习了GAN的相关知识，以WGAN为例了解了训练GAN的一些小技巧，比如使用Wasserstein distance来替代并不适合的JS divergence计算分布之间的散度。还学习了如何将GAN应用于序列生成任务中，如何解决这个过程中会遇到的问题，例如Mode Collapse和Mode Dropping。
2023-11-19 12:00:00
117
原创 机器学习周记（第十六周：GAN.pt1）2023.11.6~2023.11.12
本周初步学习了GAN的一些基本知识，包括如何将神经网络作为生成器来产生满足需要的分布的输出，以及为什么需要让神经网络按照需要的分布进行输出。同时还学习了GAN的一些基本概念和原理，了解了GAN实现的目标和算法过程。最后使用代码实现了一个GAN的应用。
2023-11-12 12:00:00
107
1
原创 机器学习周记（第十五周：Different Attention）2023.10.30~2023.11.5
本周学习了简化attention计算量的一些方法，包括Local Attention、Stride Attention、Global Attention、Clustering、Learnable pattern、(V*K)*Q以及Synthesizer。这些方法有些是从减少Attention Matrix的计算量入手，有些是从改变Attention的矩阵相乘顺序入手，还有一些甚至完全抛弃矩阵乘法直接由机器学习attention。
2023-11-05 12:00:00
142
原创 机器学习周记（第十四周：Transformer续）2023.10.23~2023.10.29
本周完成了Transformer内容的学习，理解了Decoder中的注意力掩码机制以及Encoder和Decoder之间的连接方式，同时还了解了运用Transformer的一些小技巧来简化模型训练和提高模型性能。最终运用所学知识完成了一个简单的Transformer模型的定义。 本周还阅读了一篇文献，从文献中了解到了对于多变量长时间序列数据缺失的插补办法，主要用到的模型是自注意力机制。
2023-10-29 12:00:00
262
1
原创 机器学习周记（第十三周：Transformer）2023.10.16~2023.10.22
本周开启了Transformer的学习，初步理解了Transformer编码器的原理以及解码器自回归的解码方式，基于所学的基本原理，实现了一个简单的Transformer编码器，输出的结果为编码器输出张量的形状。本周还阅读了一篇基于Transformer的论文，了解了一种新的基于Transformer的预测模型TFT，还了解了一种新的超参数优化方式：自适应差分进化算法。
2023-10-22 12:00:00
212
1
原创 机器学习周记（第十二周：GNN续）2023.10.9~2023.10.15
本周结束了GNN的学习，通过对GCN进行数学推导，进一步加深了对GCN的理解，明白了图神经网络中运用卷积思想的数学意义，同时编写了一个简单的GCN模型对图节点进行预测。本周还阅读了一篇论文，学习到了一些时间序列数据预处理的方法，以及除了BP算法之外的一些其他参数优化算法。GNN是一种强大的模型，对处理图结构数据具有强大的作用。下一周我将开始Transformer相关知识的学习。x_%7Bi%7D。
2023-10-15 12:00:00
196
1
原创 机器学习周记（第十一周：GNN）2023.10.2~2023.10.8
本周我初步学习了GNN的基础知识，明白了什么是GNN。GNN的输入数据类型是图结构的数据，而现实世界中就存在着大量的图结构数据，这些数据同样可以用GNN来对节点做预测，做分类等等。同样GNN也有许多不同的方法来处理数据，比如说DCNN、DGC、GAT等。本周我使用代码定义了一个GAT的模型，我还阅读了一篇关于多变量时间序列预测的论文，通过这篇论文我大致理解了多变量时间序列的预测方式。
2023-10-08 12:00:00
305
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人