- 博客(39)
- 收藏
- 关注
RSS订阅原创 【nlp】模型文件构成
这些文件是用于保存和加载大规模语言模型（LLM）的各个部分，涵盖了从模型架构配置、权重参数到分词器相关的配置信息。下面是这些文件的详细介绍，以及它们在训练过程中如何生成的。
2024-12-02 18:59:32
1165
原创 【nlp】大模型训练--3D并行
参考：图解大模型训练之：流水线并行（Pipeline Parallelism），以Gpipe为例在数据并行（Data Parallelism）训练中，模型的被复制到每个计算 GPU 上，而输入数据批次（batch）则被，并分配给不同的 GPU 上进行并行计算。以下是数据并行的详细过程：1. 初始化和模型参数分配2. 前向传播（Forward, FWD）和反向传播（Backward, BWD）3. 梯度聚合（AllReduce）4. 参数更新（Pull）5. 下一轮迭代所有 GPU 的模型参数同步完成后，进行
2024-11-13 13:52:47
1099
原创 【nlp】USAD异常检测
第一阶段：AE1和AE2学习如何重构正常数据，以最小化重构误差。第二阶段：通过对抗训练，AE1试图欺骗AE2，AE2则努力区分真实数据与来自AE1的重构数据，从而在异常检测中提升判别能力。推理阶段：基于参数化的异常分数定义，可以调整检测的敏感度，使得模型在不同场景下都能保持高效的异常检测能力。在自编码器（Autoencoder, AE）架构中，输入数据经过编码器（Encoder）被映射到潜在空间，生成一个潜在表示（通常是低维的）。然后解码器（Decoder）将这个潜在表示映射回输入数据空间，产生一个。
2024-11-05 15:30:39
769
原创 【NLP】GloVe模型
GloVe主要基于全局词共现信息，适合全局语义关系的捕捉，但无法处理动态上下文中的语义变化。Word2Vec和FastText更注重局部上下文，FastText 通过子词分解增强了对稀有词的处理能力。ELMo和BERT是基于上下文的词嵌入模型，能够捕捉词语在不同语境中的动态语义，特别是在多义词或需要深度上下文理解的任务中表现优异。GloVe 适合处理那些不需要上下文敏感的任务，而对于需要更复杂语义建模的任务，如阅读理解和问答系统，基于上下文的模型如 ELMo 和 BERT 则更为强大。
2024-10-17 12:24:52
1617
原创 informer学习笔记
一、informer讲解infomer要解决的三大问题：Attention计算的更快Decoder要一次性输出所有预测堆叠encoder也要更快1. Attention在长序列中，并非每一个位置的Attention都重要，对于每一个Q来说，只有一小部分的K与其有较强的关系。Transformer里，我们计算 QKVQKVQKV 的时候，看一下 QKQKQK 点积的热力图，越亮的部分表示 QKQKQK 相关性越高。热力图中大部分为黑色，实验发现对于每个 QQQ 只有一小部分的 KKK 和它
2024-10-15 21:19:43
1837
1
原创 transformer是什么？(图解版)
在 Decoder 的时候，是需要根据之前的翻译，求解当前最有可能的翻译，如下图所示。显然，已经在这个位置上的单词将获得最高的softmax分数，softmax的作用是使所有单词的分数归一化，得到的分数都是正值且和为1，为了梯度的稳定，为了防止内积过大，Transformer使用了score归一化。，预测第一个单词 “I”；我们将得到的的8个特征矩阵[Z0，Z1，Z2，Z3，Z4，Z5，Z6，Z7]拼接起来，得到一个维度较高的特征矩阵，再通过一个全连接层乘以降维矩阵Wo，得到我们需要的特征矩阵Z。
2024-10-10 11:30:26
1240
原创 transformer为什么使用sin和cos表示位置信息
Transformer 是一种基于注意力机制的神经网络模型，广泛应用于自然语言处理任务，如机器翻译、文本生成等。与传统的循环神经网络（RNN）不同，Transformer 没有内置的序列顺序处理能力，因此需要一种方法来引入序列中元素的位置信息。
2024-10-09 17:25:37
1155
原创 from tqdm.auto import tqdm用法详细介绍
tqdm是一个 Python 库，用于在长时间运行的任务中显示进度条。tqdm.auto是tqdm的一个版本，能够自动适配输出环境（如 Jupyter Notebook、命令行等），以确保进度条在各种环境下显示正确。下面是tqdm.auto的详细用法介绍及示例。
2024-09-20 17:31:12
1295
原创 pythom模块datetime
datetime.datetime.strptime() 方法用于将字符串解析为 datetime 对象。该方法返回一个 datetime 对象，表示解析后的日期和时间。
2024-08-27 00:36:51
556
原创 【python】asyncio异步编程
（例如，网络请求、文件读写等操作）时非常高效，因为它避免了线程切换的开销。协程（Coroutine）是计算机程序组件，它允许执行的暂停和恢复，通常用于。协程可以在执行过程中挂起，等待外部事件，然后在事件完成后恢复执行，关键字来挂起当前协程的执行，等待另一个协程或异步操作完成。的效果是一样的，后者是python3.7的实现方式。协程函数内部可以使用。在 Python 中，协程是通过。块中调用 main() 函数。协程的这种特性使得它在处理。
2024-08-14 15:55:33
469
原创 【python】常用的python内置函数
在接触python时最开始接触的代码，取长方形的长和宽，定义一个长方形类，然后设置长方形的长宽属性，通过实例化的方式调用长和宽，像如下代码一样。此时输出结果为10 20但是这样在实际使用中会产生一个严重的问题，__init__中定义的属性是可变的，换句话说，是使用一个系统的所有开发人员在知道属性名的情况下，可以进行随意的更改(尽管可能是在无意识的情况下)，但这很容易造成严重的后果。对于这种情况，我们可以使用python的内置函数property来解决。将方法定义为属性控制属性的访问验证属性值。
2024-07-31 10:56:45
451
原创 【pandas】apply函数+匿名函数
函数可以将一个函数应用于 DataFrame 的每一行或每一列，并返回一个新的 DataFrame 或 Series。注意：一般来说lambda row里的row应该是一行数据（if axis=1）；一列数据（if axis=0）
2024-07-09 12:48:13
470
原创 pandas——索引
level：可以是int, str, tuple, or list, default None等类型。作用是只从索引中删除给定级别。默认情况下删除所有级别。不要尝试在数据帧列中插入索引。这会将索引重置为默认的整数索引。修改数据帧（不要创建新对象）。如果列有多个级别，则确定将标签插入到哪个级别。默认情况下，它将插入到第一层。如果列有多个级别，则确定其他级别的命名方式。如果没有，则复制索引名称。
2024-07-01 17:08:39
414
原创 使用ssh公钥实现免密码登录
主要有两种登录方式：第一种为密码口令登录，第二种为公钥登录通过密码进行登录，主要流程为：1、客户端连接上服务器之后，服务器把自己的公钥传给客户端2、客户端输入服务器密码通过公钥加密之后传给服务器3、服务器根据自己的私钥解密登录密码，如果正确那么就让客户端登录公钥登录是为了解决每次登录服务器都要输入密码的问题，流行使用RSA加密方案，主要流程包含：1、客户端生成RSA公钥和私钥2、客户端将自己的公钥存放到服务器3、客户端请求连接服务器，服务器将一个随机字符串发送给客户端。
2024-06-27 12:25:22
2523
原创 mysql问题记录
跳表是链表结构，一条数据一个结点，如果最底层要存放2kw数据，且每次查询都要能达到二分查找的效果，2kw大概在2的24次方左右，所以，跳表大概高度在24层左右。B+树是多叉平衡搜索树，扇出高，只需要3层左右就能存放2kw左右的数据，同样情况下跳表则需要24层左右，假设层高对应磁盘IO，那么B+树的读性能会比跳表要好，因此mysql选了B+树做索引。而针对写操作，B+树需要拆分合并索引数据页，跳表则独立插入，并根据随机函数确定层数，没有旋转和维持平衡的开销，因此跳表的写入性能会比B+树要好。
2024-06-18 20:29:24
392
原创 Django面试题
中间件是一个用来处理Django的请求和响应的框架级别的钩子。它是一个轻量、低级别的插件系统，用于在全局范围内改变Django的输入和输出。每个中间件组件都负责做一些特定的功能。说的直白一点中间件是帮助我们在视图函数执行之前和执行之后都可以做一些额外的操作，它本质上就是一个自定义类，类中定义了几个方法，Django框架会在请求的特定的时间去执行这些方法。CSRF（cross-site request forgery），简称跨站请求伪造。
2024-06-11 20:28:26
924
原创 redis vs memcached
适用场景 | 需要存储复杂数据结构、进行复杂操作、需要数据持久化的场景 | 需要快速缓存简单字符串数据、对数据持久化要求不高的场景 || 其他 | 支持事务、发布/订阅、Lua 脚本等功能 | 不支持事务、发布/订阅等功能 || 性能 | 整体性能优于 Memcache | 读取简单字符串数据性能略胜一筹 || 数据结构 | 字符串、哈希表、列表、集合、有序集合、位图 | 字符串 || 特征 | Redis | Memcache || 持久化 | 支持 | 不支持 |
2024-06-08 07:12:06
292
原创 redis学习路线
这里有两个概念：关系型数据库和菲关系型数据库关系型数据库：列+行，同一个表下数据的结构是一样的。非关系型数据库：数据存储没有固定的格式，并且可以进行横向扩展。
2024-06-07 17:50:48
1245
原创 docker网络详解
在微服务部署的场景下，注册中心是使用服务名来唯一识别微服务的，而我们上线部署的时候微服务对应的IP地址可能会改动，所以我们需要使用容器名来配置容器间的网络连接。使用–link可以完成这个功能。首先不设置–link的情况下，是无法通过容器名来进行连接的。添加参数–link，可以通过容器name进行连接。centos03容器link到centos01，所以centos03可以直接通过ping centos01的容器名去ping通，但是反过来centos01去ping centos03的容器名是ping不通的。
2024-06-05 16:36:45
1348
1
原创 docker-compose教程
特征Kubernetes功能简单中等强大复杂性低中等高部署方式单机集群集群服务发现无有有负载均衡无有有高可用性无有有滚动更新、健康检查、高级调度等无无有适用场景开发和测试生产环境生产环境。
2024-06-05 10:51:47
1377
原创 Django rest_framework 基础应用
首先，我们需要定义一个 Django 模型来表示我们要处理的数据。例如，我们可以定义一个名为。然后，我们需要定义一个视图类来处理 API 请求和响应。例如，我们可以定义一个名为。最后，我们需要在 URLconf 中配置 API 路由。URL 来获取所有图书信息。模型转换为 JSON 格式。例如，我们可以定义一个名为。现在，我们可以启动 Django 服务器并访问。接下来，我们需要定义一个序列化器类来将。
2024-05-23 08:59:32
525
原创 Django--ApiView示例
定义一个名为的序列化器类，用于序列化和反序列化BookInfo模型实例。class Meta: 元类，用于配置序列化器类的属性。: 要序列化的模型类。: 要序列化的字段列表。默认情况下，fields属性设置为'__all__'，表示序列化所有字段。也可以将fields属性设置为一个字段列表，以只序列化指定的字段。: 定义一个名为的 API 视图，用于获取所有书籍信息。: 定义get方法，用于处理 GET 请求。: 查询所有BookInfo对象。: 使用序列化所有书籍信息，并设置。
2024-05-22 17:49:39
960
1
原创 Django 入门教程
path和re_path都是 Django 中的 URL 路由函数，用于将 URL 模式与视图函数进行关联。path函数用于匹配精确的 URL 路径。re_path函数用于匹配正则表达式。以上的类名代表了数据库表名，且继承了，类里面的字段代表数据表中的字段(name)，数据类型则由CharField（相当于varchar）、DateField（相当于datetime）， max_length 参数限定长度。
2024-05-22 16:48:23
1929
1
原创 传统机器学习算法
emsp’机器学习算法有很多种，常用的包括线性回归、逻辑回归、决策树、支持向量机、K-近邻、朴素贝叶斯以及神经网络等。下面，我们分别介绍这些算法及其公式，并提供应用示例代码。
2024-05-20 10:09:30
1247
原创 图像分类和文本分类（传统机器学习和深度学习）
决策树是一种用于分类和回归任务的机器学习算法。它通过一系列规则将数据点分类到不同的类别中，就像树枝分叉一样。每个规则都基于一个特征，例如“颜色”或“尺寸”，每个分支都代表一个可能的特征值，例如“红色”或“大”。代表整个数据集。代表一个特征，并根据特征值进行分支。代表一个类别或预测结果。
2024-05-20 10:07:21
1300
原创 Focal Loss损失函数
特征SigmoidSoftmax输出范围0 到 10 到 1，所有元素之和为 1应用场景二分类任务多分类任务计算复杂度较低较高梯度消失问题存在不存在选择哪种激活函数取决于具体的应用场景和需求。使用 Sigmoid 函数。使用 Softmax 函数。使用 Sigmoid 函数。使用 Softmax 函数。
2024-05-16 10:42:45
1122
原创 深度学习预测面试
目前主流的目标检测算法多是anchor-based这一类，其中有two-stage也有one-stage。所谓的anchor是什么？覆盖anchor回归step1 背景是一张图片，在图片中密集的黑色点点就是按照定步长确定的”锚点“step2 在每个锚点处，都会生成三种尺寸的正方形的框（红色、绿色、蓝色中的正方形框step3 对每个正方形框，会生成两种扩展尺度的框（每种颜色的另外两个长方形step4 所以，在每个锚点处都会生成9个anchor。
2024-05-14 21:24:42
840
2
原创 WebSocket 理论+实操
WebSocket 是一种在单个 TCP 连接上进行全双工通信的协议。它允许客户端和服务器之间进行实时、双向的通信，而无需进行 HTTP 请求/响应的循环。WSGI（Web Server Gateway Interface）服务器是用于运行 Python Web 应用程序的标准接口。它定义了 Web 服务器与 Python Web 应用程序之间通信的协议，允许不同的 Web 服务器运行相同的 Python Web 应用程序。
2024-05-13 08:57:42
691
1
原创 @my_decorator装饰器的使用教程
装饰器是一种特殊的函数，它可以。装饰器通过接受一个函数作为参数，然后返回一个新的函数来实现修改行为的功能。装饰器在 Python 中使用符号来定义。在这个例子中，是一个装饰器，它接受函数作为参数，然后返回一个新的函数wrapper。当被调用时，实际上是wrapper函数被执行。wrapper函数在执行之前和之后打印了一些信息。
2024-05-10 17:58:19
493
原创 pandas.groupby：dataframe--＞嵌套json
这段代码将原始数据转换为一个结构化的字典，方便后续进行数据处理和展示。它可以用于将人口数据可视化，进行数据分析，或将其用于机器学习模型训练等。一层一层的放入列表。
2024-05-10 17:29:15
321
原创 实现多线程/多进程/多并发
多线程是在单个进程内创建多个线程来执行任务的技术。每个线程都拥有自己的独立的执行流，可以并发地执行任务。多线程适用于 CPU 密集型任务，例如计算、数据处理等。threading.Thread 的入参位置参数和关键字参数(1) 位置参数 (positional):, 顺序不可变, 需要按照函数定义时参数的顺序进行传参.(2) 关键字参数(keyword):, 传参时前面加上"变量名=", 顺序可变, 可以不按照函数定时参数的顺序进行传参.
2024-05-09 21:06:13
1162
1
原创 日志记录器logger
记录器暴露了应用程序代码直接使用的接口。处理器将日志记录（由记录器创建）发送到适当的目标。过滤器提供了更细粒度的功能，用于确定要输出的日志记录。格式器指定最终输出中日志记录的样式。
2024-05-08 18:31:25
892
原创 多线程和多进程
因为，线程或进程的实例是依赖于资源的任务，所以最好以“池”的形式将他们组织在一起，作为可以重用的launcher或executor。executor.submit(evaluate_item, item) 将 `evaluate_item` 函数作为任务提交到线程池中执行，并将 `item` 作为参数传递给 `evaluate_item` 函数。这段代码使用线程池并行执行 `evaluate_item` 函数，并打印每个任务执行的结果。* `number_list` 是一个包含任务参数的列表。
2024-05-08 17:08:17
805
1
原创 dataclasses教程
的一个合理情况是，一个计算哈希值的代价很高的字段是检验等价性需要的，且还有其他字段可以用于计算类型的哈希值。生成的 repr 字符串将具有类名以及每个字段的名称和 repr ，按照它们在类中定义的顺序。：如果提供，它必须是一个需要零个参数的可调用对象，当该字段需要一个默认值时，它将被调用。如果一个字段被标记为仅限关键字，则其唯一的影响是根据仅限关键字的字段生成的。的值，这通常是预期的行为。比较中的两个实例必须是相同的类型。比较中的两个实例必须是相同的类型。：如果提供，这将是该字段的默认值。
2024-05-08 10:21:00
811
1
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人