Luo_LA的博客

数据可视化领域一直致力于设计直接从自然语言文本生成可视化的解决方案。自然语言接口 (NLI) 的研究为这些技术的发展做出了贡献。然而，由于自然语言固有的模糊性，以及不明确和编写不良的用户查询，使得现有语言模型在识别用户意图方面存在问题，因此实现可行的 NLI 一直具有挑战性。本研究并没有遵循开发语言模型新迭代的常规路径，而是独特地提出利用预训练大型语言模型(LLM)的进步，如 ChatGPT 和 GPT-3，将自由形式的自然语言直接转换为代码，以实现适当的可视化。

在这篇博客中，我们将介绍如何通过预训练模型进行微调来得到自己的模型。我们将使用Hugging Face的Transformers库和一个BART模型进行示例演示。整个过程包括环境准备、数据准备、模型加载、数据预处理、训练参数设置、训练、评估和保存模型。

数据挖掘中的关联规则，Apriori算法和python代码实现

在进行参数更新的时候，让y轴方向上的梯度（在随机梯度下降法中，从某一点开始，我们重新选取一个起始点，每次迭代，你只对一个样本进行梯度下降，大部分时候你向着全局最小值靠近，有时候你会远离最小值，因为那个样本恰好给你指的方向不对，因此随机梯度下降法是有很多噪声的，平均来看，它最终会靠近最小值，不过有时候也会方向错误，因为随机梯度下降法永远不会收敛，而是会一直在最小值附近波动，但它并不会在达到最小值并停留在此。在普通的梯度下降中，如果遇到了比较复杂的情况，就会出现：如果学习率过大，摆动过大，误差较大；

卷积神经网络1 计算机视觉 (Computer Vision)2 边缘检测示例 (Edge Detection Example)3 更多边缘检测内容 (More Edge Detection Example)4 Padding5 卷积步长 (Strided Convolutions)6 三维卷积 (Convolutions Over Volumes)7 单层卷积网络 (One Layer of a Convolutional Network)8 池化层 (Pooling Layers)9 卷积神经网络示例1

如果你希望让学习算法能够胜任人类能做的任务，但你的学习算法还没有达到人类的表现，那么人工检查一下你的算法犯的错误也许可以让你了解接下来应该做什么。这个过程称为错误分析。假设你正在调试猫分类器，然后你取得了90%准确率，相当于10%错误，在你的开发集上做到这样，这离你希望的目标还有很远。你的队员看了一下算法分类出错的例子，注意到算法将一些狗分类为猫。你的队友给你一个建议，如何针对狗的图片优化算法。为了让你的猫分类器在狗图上做的更好，让算法不再将狗分类成猫，你可以针对狗，收集更多的狗图，设计一些只处理狗的算法功

所以在这种情况下，我们就说准确度是一个优化指标，因为你想要准确度最大化，你想做的尽可能准确，但是运行时间就是我们所说的满足指标，意思是它必须足够好，它只需要小于100毫秒，达到之后，你不在乎这指标有多好，或者至少你不会那么在乎。在机器学习中，如果你可以观察你的系统，如果它在训练集上做的不好、在开发集上做的不好、它在测试集上做的不好，或者它在测试集上做的不错，但在现实世界中不好，必须弄清楚到底是什么地方出问题了，然后我们刚好有对应的旋钮，或者一组对应的旋钮，刚好可以解决那个限制了机器学习系统性能的问题。

在迁移学习中，你的步骤是串行的，你从任务 A AA 里学习只是然后迁移到任务 B BB 。在多任务学习中，你是同时开始学习的，试图让单个神经网络同时做几件事情，然后希望这里每个任务都能帮到其他所有任务。

Pytorch实现基本的线性回归

近十年涌现了众多优秀的智能优化算法，然而一个算法在某些优化问题上的优异表现并不能保证其在其他问题上的有效性，即不存在一个算法能有效解决所有的优化问题，即著名的“无免费午餐”定理。同时，新算法的提出是否能跳出仿生的思路而开拓新的思路也是我们的研究方向之一。正余弦算法的提出者 归纳了仿生智能优化算法的迭代策略并利用简单的正余弦函数逻辑构思出了正弦余弦算法(SCA) ，这也极大拓宽了开发新算法的思路。

RNN memory里面的值每一次都会被清空，而LSTM 里面的 memory 是一直被叠加的，除非忘记门被关闭的时候才会清空。这里的门可以理解成为一个激活函数，这个激活函数通常是 sigmoid 函数，因为经过 sigmoid 函数的值在0和1之间，用来控制门的关闭和打开。循环神经网络的一个核心是可以把前面的序列数据用到后面的结果预测里面。第一，前部序列信息在传递到后部的同时，信息权重下降，导致重要信息丢失。求解过程中梯度消失。在最小化损失函数的过程中，会遇到梯度突然剧烈抖动的情况，从而导致参数丢失。

但是在上图的例子中，一句话中的两个saw是不同词性的，但是通过相同的网络得到输出没有理由是不一样的，因为输入的向量完全一样。如果增加输入的复杂度，例如输入的是多个向量，或者每次输入的向量的个数是会改变的。例如，在文字处理中，如果把一句话中的每一个单词作为一个向量，那么一个输入就会有多个向量，又因为不同样本的句子长度不同，所以每次输入的向量的个数也是会改变的。首先 Self-attention 的输入是多个向量，这些向量可能是一整个神经网络的输入，也可能是某个隐藏层的输出，所以在这里用。