iioSnail的博客

LRS2（Lip Reading Sentences 2）是牛津大学与BBC合作开发的一个大规模唇语识别数据集，专门用于训练和评估数字人唇语同步（Lip-sync）技术。该数据集包含数千条来自BBC电视节目的口语句子，每个句子长度最多100个字符。官方网站为：https://www.robots.ox.ac.uk/~vgg/data/lip_reading/lrs2.html可惜需要认证，不过我已经下载好并存到网盘里了，有需要可适用如下链接下载。（仅供学习，请勿传播）

众所周知， 大模型可以回答它知道的内容。但如果用户问的是它不知道的内容，它可能会瞎答，也就是幻觉（Hallucination）要解决这个问题，只需要给大模型参考文献即可。"""""""""..."""看起来很简单，但难点在于如何从众多数据中找出与问题相关的知识，这就是要解决的核心问题。RAG可以是一个很复杂的接口，包含许多模块。每个模块都是为了提高大模型回答精准度而设计的。但如果我们只保留RAG最基本的几个模块，那么这种RAG就被称为Native RAG。

ER-NeRFEchoMimicEchoMimic2hallo2等等这些项目的目标各不同，但都离不开一个核心，那就是对嘴型。对嘴型的模型可以简单的用下图来表示：给模型一张图片和一小段人声音频，模型输出与音频对应口型的图片。为了解决“对嘴型”问题，Wav2Lip模型提出了一种简单却有效的方法，如下图所示：这是Wav2Lip论文中的模型架构图，这张图中详细说明了Wav2Lip是如何进行训练和推理的。不过，本文并不讨论Wav2Lip的训练部分，仅针对推理部分进行解释。

每秒能处理上百万次请求是非关系性数据库，以Key，Value的形式存储数据数据都是存放在内存的高性能、高可用、高并发单线程：同一个节点同一时间只能处理一个用户命令。（并不是说Redis就只有一个线程，后台还有很多其他任务线程，比如检测数据是否过期等）String：可以是字符串、整数或浮点数。链表。Set：无需集合，不可重复。Hash：Hash表，类似Java中的HashMap。ZSet：有序列表，使用分值(score)来控制顺序，越小越靠前。Key自动过期。

如果从节点宕机一小段时间，从节点重新连接后，会告诉主节点上次复制的偏移量。：主节点有从节点，从节点还有从节点。用于降低主节点的同步压力，由下游的从节点数据来自上游从节点的复制。即，将主节点的数据同步给从节点。因此，只要保证主节点和所有的从节点不一起宕机，就可以保证Redis的高可用。所有的写操作一定要在主节点完成，若Redis仅有一个主节点，则无法实现高并发。可以为一个主节点配置多个从节点，当主节点宕机后可以自动主从切换，实现了。如果有多个主节点同理，上面说的只是站在其中一个主节点的视角说的。

YoloV11（Github）提供了非常方便的API帮助用户实现目标检测（detect）、语义分割（segement）、肢体识别（Pose）等功能。本文将基于YoloV11的目标检测来实现一个视频人脸马赛克的处理，帮助大家入门YoloV11的目标检测使用。本文并不包含模型训练部分。

Java服务端开发中，通常不直接，而是通过线程池来管理线程，避免频繁创建线程而导致资源耗尽宕机的情况。ThreadPoolExecutor是Java中用于管理线程池的一个类，它提供了一种灵活的方式来管理线程的生命周期和执行策略。通过ThreadPoolExecutor，你可以控制线程池的大小、任务的执行方式以及拒绝策略等。

虚拟语气(subjunctive mood)在英文中是用来表达假设的场景。例如：“我希望…”、“我建议…”、“如果…”、“…是很重要的”，这些都算是假设的场景。表示建议：A建议B应该怎么做。例如：“张三建议李四好好学习”。“张三好好学习是非常重要的”表示希望：表示“希望是，但实际不是的事情”。例如：我希望我是一只猫。表示假设：如果…，那我就…（对不会发生的事情做出假设）。例如：如果我中500万，我就做慈善。对于这三种类型，有固定的句式，记住后多练习就好了。类型句式注意要点例句表示建议do。

本文内容本文基于李宏毅老师对 Self-Attention 的讲解，进行理解和补充，并结合Pytorch代码，最终目的是使得自己和各位读者更好的理解Self-Attention李宏毅Self-Attention链接: https://www.youtube.com/watch?v=hYdO9CscNesPPT链接见视频下方通过本文的阅读，你可以获得以下知识：什么是Self-Attention，为什么要用Self-Attention？Self-Attention是如何做的？Self-Atten

Spring的主要目的是为了简化Java EE的企业级应用开发。控制反转（Ioc）：也称为依赖注入（Dependency Injection, DI）面向切面编程（Aspect Oriented Programming, AOP）面向对象处理的痛点：在面向对象编程中，我们会有许多业务处理模块（例如：创建订单、查询订单、派发工单等）。对于这些模块，需要一些公共的处理逻辑（例如：日志记录、权限校验等），如果为每一个方法都在前后增加额外的代码进行这些逻辑的处理，对业务系统的侵入性太高了，会造成代码的严重耦合。

时态就是“时间”和“状态”。英文中有时态，中文里也有时态。只不过，英文通过对动词进行变形来表示时态，而中文则是通过增加词来表示时态。例如：“将”、“之前”、“过去”等。因此，我们只需要用中文的关键词来和英文中的时态对应即可很简单的掌握时态。英语中共有16种时态，英文时态和中文的对应关系如下表（第二章会详细举例讲解）。（由于表格太大，我将会分为多个表格进行展示，对于相近的时态，放在一起做对比）一般现在时一般过去式一般将来时一般过去将来时时态解释句子无需包含任何时间信息表示事件发生在过去。

声明：本文的语法规律为个人的抽象总结，并无任何权威参考。可能有不严谨或错误说法，仅供参考。

文章目录DataLoader支持的两种数据集Iterator格式的DataLoaderPython的Iterator格式数据简介Pytorch使用DataLoader使用自定义的IterableDataset实战：自定义图片加载DataLoaderMap格式的DataLoaderDataLoader支持的两种数据集Map格式：即key,value形式，例如 {0: ‘张三’, 1: ‘李四’}Iterator格式：例如数组，迭代器等Iterator格式的DataLoaderPython中，只要

文章目录clip_grad_norm_的原理clip_grad_norm_参数的选择（调参）clip_grad_norm_使用演示clip_grad_norm_的原理本文是对梯度剪裁: torch.nn.utils.clip_grad_norm_()文章的补充。所以可以先参考这篇文章从上面文章可以看到，clip_grad_norm最后就是对所有的梯度乘以一个clip_coef，而且乘的前提是clip_coef一定是小于1的，所以，按照这个情况：clip_grad_norm只解决梯度爆炸问题，不解决

文章目录直观的感受一下范数范数的定义直观的感受下范数的边界图像范数的性质参考资料直观的感受一下范数先直观的感受一下二维空间的范数，假设在二维空间的向量为 v=(x,y)\bold{v} =(x,y)v=(x,y)则v的1范数为：∣∣v∣∣1=∣∣(x,y)∣∣1=∣x∣+∣y∣=(∣x∣1+∣y∣1)11||\bold{v}||_1 =||(x,y)||_1 = |x| + |y| = (|x|^1+|y|^1)^\frac{1}{1}∣∣v∣∣1​=∣∣(x,y)∣∣1​=∣x∣+∣y∣=(∣

概念理解Word：一个单词，例如helloCharacter：一个字母，例如aSubword：①若使用单词进行编码，由于单词多且杂，容易导致OOV问题，而且不太好编码 ②若使用字母进行编码，又太少，容易丢失语义；所以人们发明了subword，将一个word分成多个subword，同时兼顾了①②两个问题。OOV：Out of Vocabulary，意思是有些单词在词典中查询不到，例如一些根据词根现造的词，或者拼写错误的词等。Tokenization：将一段文本分成若干个元素，一个元素称为一个Tok

文章目录普通卷积复习Groups是如何改变卷积方式的实验验证参考资料普通卷积复习首先我们先来简单复习一下普通的卷积行为。从上图可以看到，输入特征图为3，经过4个filter卷积后生成了4个输出特征图。对于普通的卷积操作，我们可以得到几个重要的结论：输入通道数 = 每个filter的卷积核的个数。（注意区分卷积核和Filter，它们俩的关系是：多个卷积核组成一个Filter）Filter的个数 = 输出通道数此时，我们的参数量为：参数量=输入通道数×输出通道数×卷积核大小=卷积核个数×Fi

SIGNHAN是台湾学者（所以里面都是繁体字）公开的用于中文文本纠错（CSC）百度网盘链接pwd=f9sd上述链接是官方提供的数据源文件，里面有许多错误，如果不想自己修改和预处理，可以直接跳到"第5章 预处理好的数据集"，直接使用。数据集句子数量句子平均长度错字数量SIGHAN13(训练集)70041.8343SIGHAN13(测试集)100074.31224SIGHAN14(训练集)343749.65122SIGHAN14(测试集)106250.0771。

本文汇总了中文文本纠错(Chinese Spell Checking)任务在各个开源项目中的评价指标，他们虽然写法不同，但大部分本质是相同的，但也有少部分论文的评价指标存在问题或其他论文不一致，本文对他们的指标代码进行了分析，并说明了其中的问题。

论文地址论文代码用于生成违数据集对预测结果进行评价作者知乎数据集年份：2022-11CSCD-IME全称：Chinese Spelling Correction Dataset for errors generated by pinyin IME数据集只关注“拼音输入法”导致的错误数据来源：经过认证的新闻媒体机构在微博上发布的博文（例如人民日报）训练集：3w，验证集5k，测试集3k。均为人工标注模拟“拼音输入法”导致的错误，构建了200w个违数据集。

spaCy（官方网站，github链接）是一个NLP领域的文本预处理Python库，包括分词（Tokenization）、词性标注（Part-of-speech Tagging, POS Tagging）、依存分析（Dependency Parsing）、词形还原（Lemmatization）、句子边界检测（Sentence Boundary Detection，SBD）、命名实体识别（Named Entity Recognition, NER）等功能。具体支持功能参考链接。spaCy的特点：若想安装GP

TensorBoard 简介TensorBoard 界面介绍TensorBoard 安装TensorBoard 运行Pytorch 使用 TensorBoardTensor折线图（Scalars）

如何批量下载hugging face模型和数据集文件

使用nn.Transformer构建BERT模型，并使用样例样本使用MLM任务和NSP任务训练BERT

作者提出了一个中文Bert，起名为MacBert。该模型采用的mask策略（作者提出的）是MLMasc作者用MacBert在8个NLP任务上进行了测试，大部分都能达到SOTA提出了新的MacBert模型，其缓和了pre-training阶段和fine-tuning阶段的gap。采用的方式是“mask字时，采用相似的字进行mask”

论文提出了一种token-level的自蒸馏对比学习(self-distillation contrastive learning)方法。作者并没有直接使用BERT的输出作为token embedding，而是使用点乘的方式融合了BERT的输出和word embeddings。

梯度下降回顾Pytorch 实现梯度下降与参数更新自定义损失函数自定义优化器自定义学习率策略使用 `LambdaLR` 实现简单的学习率策略通过继承 `_LRScheduler` 实现自定义的学习率策略通过手动更新Optimizer中的学习率来自定义学习策略......

在学习bert的时候，我们知道bert是输出每个token的embeding。但在使用hugging face的bert模型时，发现除了还多了一个输出。许多人可能以为是[CLS]token的embedding，但使用比较后，发现又不是，然后就很奇怪。

作者提出了CPP辅助任务，可以让Encoder模型学会对汉语拼音进行编码。作者提供了一个 预训练好的SCOPE模型，后续的CSC任务可以用这个做迁移学习作者提出了CIC（约束矫正方法），可以用在预测阶段。

许多中文拼写检查(Chiniese Spell Checking, CSC)模型都使用了“字形信息+拼音信息”(glyph-phonetic)来进行预测，但是**“这些glyph-phonetic信息到底被用了多少”是不清楚的**，所以作者提出了两个新的方法来验证，同时也可以提升模型的泛化能力。Q1：现有的中文预训练模型（Chinese pre-trained models）编码了glyph-phonetic信息了吗？

参考视频：https://www.youtube.com/watch?v=UkQ2FVpDxHg基本概念小样本学习（few-shot learning）是什么：就是使用很少的样本来进行分类或回归Few-shot Learning的目标：让机器学会自己学习小样本学习的直观理解：① 前提：首先要知道，训练一个模型的目的不是为了让模型如何分辨大象和蚂蚁，而是让模型具有判断图片“异同”的能力，即让模型看到两张图片后，它能分别出这俩是不是一个类别。这样，当我们在用大数据集训练出一个分类器后，在测试阶段给.

可能你在某个地方听说了einsum，然后不会写，或者看不懂。这篇文章将会一步一步教会你如何使用（通法哦，只要学会方法就全会了）。ein 就是爱因斯坦的ein，sum就是求和。einsum就是爱因斯坦求和约定，其实作用就是把求和符号省略，就这么简单。举个例子：我们现在有一个矩阵A2×2=(1234)A_{2\times 2} = \begin{pmatrix} 1 & 2 \\ 3 & 4\end{pmatrix}A2×2​=(13​24​)我们想对A的“行”进行求和得到矩阵B(向量B)，用

反卷积的作用卷积中padding的几个概念No PaddingHalf(Same) PaddingFull Padding反卷积反卷积中的Padding参数反卷积的stride参数反卷积总结参考资料

二. MultiHead Attention2.1 MultiHead Attention理论讲解2.2. Pytorch实现MultiHead Attention三. Masked Attention3.1 为什么要使用Mask掩码3.2 如何进行mask掩码3.3 为什么是负无穷而不是0

DJL快速入门（纯Java跑深度学习模型）1. DJL核心内容讲解2. DJL加载Pytorch模型3. DJL的Tensor操作4. DJL简单案例（DJL使用Pytorch模型完成图片分类）5. OpenPose项目实战

1. Transformer的训练过程讲解2. Transformer的推理过程讲解3. Transformer的入参和出参讲解4. nn.Transformer的各个参数讲解5. nn.Transformer的mask机制详解6. 实战：使用nn.Transformer训练一个copy任务。

【强化学习】 OpenAI Gym入门：基础组件（Getting Started With OpenAI Gym: The Basic Building Blocks）

1. Hugging Face是什么，提供了哪些内容2. Hugging Face模型的使用（Transformer类库）3. Hugging Face数据集的使用（Datasets类库）

FocalLoss原理通俗解释及其二分类和多分类场景下的原理与实现

用BERT做具体任务时效果不够好？这篇论文教你如何微调BERT