- 博客(59)
- 收藏
- 关注
RSS订阅
原创 基于 Qwen-0.5B Lora 微调训练英语问答任务
Qwen是阿里巴巴集团的Qwen团队研发的一个大语言模型系列，包含了语言模型和多模态模型。本文是使用了Lora微调的方法对qwen进行微调，使得模型在自己的数据集上更加准确
2024-10-07 17:48:12
2747
1
原创 萱仔求职复习系列：C++超基础期末复习版本
按值传递：传递值的副本按引用传递：传递引用，使用 & 符号1、函数定义返回类型：定义函数的返回值类型（例如 int、double、void 等）。如果函数不返回任何值，使用 void 作为返回类型。函数名：标识函数的名字，用来在调用时进行引用。参数列表：定义传递给函数的变量，写在括号内，可以为空。函数体：包含了执行的代码块，位于大括号内。2、函数参数传递方式。
2024-11-25 11:24:24
711
原创 主流的大数据框架Hadoop/spark
处理大数据： 如果你有成千上万的文件、日志数据，或者每天需要处理几百 GB 的数据量，Spark 是一个理想的工具。在需要反复计算的数据任务中，如迭代式的机器学习算法，它有很大的优势。1、高速处理： Spark 能够将数据加载到内存中进行计算，相比于传统的 Hadoop MapReduce，它的迭代计算速度要快很多，特别是在处理需要多次操作的数据集时（例如机器学习任务）。分布式和容错性： Spark 通过分布式集群运行，可以处理非常大的数据集（数百 TB 级别），并且自带容错机制，任务失败时可以自动恢复。
2024-10-21 23:59:07
1042
1
原创 如何在 Jupyter Notebook 执行和学习 SQL 语句（下）—— 进阶版题目综合（多表连接，窗口函数，子查询等等）
目标： 使用窗口函数 ROW_NUMBER() 找到每个用户的最后一次购买的产品名称和购买日期。FROM (FROM users) as t内层查询 (FROM 子句):选择字段:users.name: 用户的名字。products.product_name: 产品的名称。transactions.transaction_date: 交易的日期。窗口函数 (ROW_NUMBER()):PARTITION BY users.id：按照用户的 ID 分组。每个用户的交易将单独进行编号。
2024-10-21 17:17:35
1250
原创 Kaggle竞赛的流程 —— 手把手讲述如何完成一次kaggle比赛
通过熟悉这些术语，你可以更有效地参与竞赛，与社区互动，并更快地提升你的数据科学技能。为了帮助初学者快速掌握Kaggle的术语，Kaggle提供了由。制作的视频，介绍常用的Kaggle术语。
2024-10-17 23:58:30
3175
2
原创 萱仔求职系列——C++临时抱佛脚：期末复习系列
由于最近投简历的时候，虽然总体是冲着NLP大模型进行一个投递的擦破自拍，但是由于我以前的项目都是图像算法的项目，还是有HR小哥哥小姐姐来问我是不是求职图像相关（我真的非常心动，现在我已经想要一个好offer就行，不在意到底是什么方向的了，回归老本行我也是愿意的！常用算法：sort(), find(), count(), lower_bound(), upper_bound()栈：后进先出（LIFO），常用操作：push(), pop(), top()异常的抛出与捕获（try, catch, throw）
2024-10-17 23:56:42
487
原创 如何在 Jupyter Notebook 执行和学习 SQL 语句（中）—— 1、SQL基础语句
为了模拟涵盖SQL所有重要考点的实验，设计五个实验场景，并使用多个不同的数据集。这些场景可以包含基本操作（如创建表、插入数据）、中高级操作（如联结查询、分组聚合、窗口函数、子查询、排序等）以及复杂操作（如计算各种比率、复杂查询等）。每个实验使用不同的业务场景并针对特定SQL操作进行练习。数据集设计 创建以下三张表：users 表：包含用户的基本信息。products 表：包含产品信息。transactions 表：包含用户购买产品的交易记录。
2024-10-15 23:59:24
938
原创 如何在 Jupyter Notebook 执行和学习 SQL 语句（中）—— 2、SQL基础数据类型
INT/INTEGER：存储整数，正数和负数。FLOAT/REAL/DOUBLE：存储带小数的浮点数。DECIMAL/NUMERIC：存储精确的小数，常用于金融数据。数字类型常见操作：比较操作：=、>、<、>=、<=（用于比较数字大小）。算术操作：+（加）、-（减）、*（乘）、/（除）、%（取余）。SUM()：对一列数字进行求和。AVG()：计算平均值。MIN()：返回最小值。MAX()：返回最大值。COUNT()：计算行数。
2024-10-15 23:57:20
567
原创 如何在 Jupyter Notebook 执行和学习 SQL 语句（上）—— 基本原理详解和相关库安装篇
SQLite 是一个轻量级的数据库系统，适合本地小型项目。SQLAlchemy 是一个强大的数据库连接工具，可以在Jupyter中方便地运行SQL查询。帮助有jupyter的人懒得装SQL的人学习SQL一大利器！
2024-10-14 18:59:57
2046
原创 萱仔求职复习系列——力扣：删除链表的倒数第 N 个结点
这种方法通过使用两个指针，其中一个指针先移动 n+1 步，另一个指针从头开始一起移动，这样当第一个指针到达链表末尾时，第二个指针恰好指向倒数第 n个节点的前一个节点。要删除链表的倒数第 n个节点，可以使用。给你一个链表，删除链表的倒数第。个结点，并且返回链表的头结点。
2024-10-11 23:51:44
242
原创 萱仔求职复习系列——力扣
递归处理：每次递归处理 k 个节点，翻转它们，然后将翻转后的部分与递归处理的剩余部分连接起来。翻转部分链表：我们需要在每次递归时翻转 k 个节点，翻转完成后将新的头节点返回，并递归连接。递归结束条件：当剩下的节点少于 k 个时，保持原有顺序，不再翻转。是一个正整数，它的值小于或等于链表的长度。你不能只是单纯的改变节点内部的值，而是需要实际进行节点交换。的整数倍，那么请将最后剩余的节点保持原有顺序。个节点一组进行翻转，请你返回修改后的链表。
2024-10-11 23:49:29
255
原创 萱仔求职复习系列——2 Linux的常用方法（包含基础进阶高级操作）
由于最近接了一个笔试，发现笔试可能涉及到Linux，我准备临时抱佛脚一下赶紧复习一下Linux的用法哈哈。Linux 的基础用法包含文件系统操作、权限管理、网络配置、进程管理等基本命令；进阶操作包括网络调试、包管理、服务管理和用户管理等；高级操作则涵盖Shell 脚本编程、计划任务设置、文件系统管理以及日志分析等功能。
2024-10-10 23:53:15
497
原创 萱仔求职系列——1.2 机器学习常用算法代码与调参过程
机器学习基础知识复习的理论部分如下所示：（已经涉及到我常常碰到面试的问题）本内容的代码最近将上传到我的仓库里：这里留有一个网址的地方。(这是部分，还没有完全整理好)以下连接时我以前复习的一些理论基础知识，非常实用，涉及到很多次面试用到的东西！这里总结一下每个算法的代码实现过程，然后我把汇总版放入了jupyter，大家需要的自取！
2024-10-10 18:07:55
1010
原创 萱仔求职系列——力扣刷题：随即链表的复制
这个复制很简单，直接用那个字典记录下来所有的对应值，来记录原链表节点与新复制链表节点之间的对应关系，首先，遍历原链表，复制每个节点，并将原节点和复制后的节点用哈希表存储起来。在复制链表时，random 指针可以指向链表中的任意节点，因此需要用一种方法来保证新节点的 random 指针正确地指向新链表中的对应节点。深拷贝则需要确保新链表的每个节点的 random 指针指向新链表中对应的节点，而不是原链表中的节点。指针也都应指向复制链表中的新节点，并使原链表和复制链表中的这些指针能够表示相同的链表状态。
2024-10-09 23:55:54
367
原创 萱仔求职系列——力扣刷题：两数相加
虽然递归也只处理链表中的每个节点一次，但是由于递归调用函数本身会消耗栈空间，每次递归调用会占用一层栈，栈的深度等于两个链表的最大长度。比如，两个链表的长度总和为 k，递归的调用栈深度就是 k，因此空间复杂度为 O(k)。实际上，迭代方法和递归方法的时间复杂度是相同的，都是 O(max(m, n))，其中 m 和 n 分别是两个链表的长度。迭代方法：只需使用一组指针遍历链表，不需要保存函数调用帧，所有的操作都在同一个栈帧中进行，因此只占用常数级别的内存。的链表，表示两个非负的整数。感觉这样结果也不错！
2024-10-09 23:39:17
414
原创 PEFT库和transformers库在NLP大模型中的使用和常用方法详解
原理：通过在预训练模型的权重矩阵中添加低秩矩阵，LoRA将大模型的微调问题转化为对小矩阵的优化。优点：显著减少训练时所需的参数，降低计算复杂度。使用场景：适合在计算资源有限的情况下进行快速微调。# 加载预训练模型和分词器# 配置LoRAr=8, # 低秩适配的秩# 应用LoRA# 训练代码（略）Adapter原理：在预训练模型的不同层之间插入小型的“适配器”网络，只微调适配器参数，保留主模型的权重不变。优点：适配器可以在不同任务之间共享，大幅度减少微调时的参数数量。使用场景。
2024-10-06 23:55:50
1521
原创 Qwen大模型简介
Qwen是由阿里巴巴集团达摩院开发的一个开源大语言模型系列。该系列模型专注于多任务场景下的自然语言处理（NLP），并提供了优秀的多模态扩展能力。Qwen模型家族包括多个版本，如等，分别适用于不同的计算资源和应用场景。启元系列不仅有纯文本语言模型，还包括支持图像、文本、对话等多模态输入的模型。
2024-10-06 21:18:49
11026
原创 HugginngFace的Trainer的常见用法
类提供了一个高度集成的训练、评估和预测接口，能大幅简化我们预训练和微调的工作量。比如我最近最常会遇到的用监督学习微调语言模型任务为例，只需要定义一个。传入我想要训练的模型和数据集，就可以直接运行微调任务。Trainer，然后。
2024-10-05 23:57:31
228
原创 微调大语言模型——超详细步骤
首先，我得下载这个AI助手的模型，然后又要给它准备一套数学题和答案（新数据集）。接着，你把这些题目整理成它能读懂的格式，最后让它一遍又一遍地看和学习这些题目和答案，通过反复练习，逐渐让它变得擅长解数学题。微调一个语言模型，其实就是在一个已经训练过的模型上，继续用新数据进行训练，帮助模型更好地理解和处理这个新的任务。然后，再准备一个新的数据集，这个数据包含你希望模型学会的新任务，比如解数学题的训练数据。：一旦模型完成了训练，你可以用它从未见过的测试数据来检查它的表现。
2024-10-05 23:57:25
883
原创 NLP任务一些常用的数据集集锦——包含简介和详细内容
Shakespeare文本数据集包含莎士比亚的作品，常用于文本生成任务，尤其是生成与莎士比亚风格相似的文本。CoNLL 2003是一个标准的数据集，用于命名实体识别任务，包含对新闻文章中人名、地点和组织的标注。SQuAD是一个用于问答系统的热门数据集，包含大量的问答对，旨在促进自然语言处理中的问答研究。SNLI是一个用于文本蕴涵任务的标准数据集，旨在研究句子之间的关系，如蕴涵、对立或中立。Multi30k是一个用于机器翻译的多语言数据集，提供图像的描述文本，并翻译为多种语言。
2024-10-03 23:53:54
1151
原创 萱仔求职系列——力扣刷题：链表
这个题吧我觉得可以用双指针的办法 ，创建一个新的链表，通过比较两个链表的节点值来选择较小的节点，从而确保合并后的链表依然是升序的。这个题目吧，我觉得得多设置一些节点，在原链表的每个节点后面插入一个新节点。新节点的值与原节点相同。指针也都应指向复制链表中的新节点，并使原链表和复制链表中的这些指针能够表示相同的链表状态。节点组成，其中每个新节点的值都设为其对应的原节点的值。新链表是通过拼接给定的两个链表的所有节点组成的。个节点组成的链表来表示输入/输出中的链表。，该指针可以指向链表中的任何节点或空节点。
2024-09-29 23:50:08
462
原创 LLaMA: Open and Efficient Foundation Language Models论文原文代码学习
LLaMA: Open and Efficient Foundation Language Models》主要介绍了Meta AI团队提出的一系列开源的基础语言模型LLaMA（Large Language Model Meta AI）。该论文的关键点可以总结如下：LLaMA模型系列从7B到65B不等，展示了不同参数规模下的表现。尽管LLaMA-13B的参数数量远小于GPT-3的175B，但在大多数基准测试中表现优于GPT-3。
2024-09-29 23:12:24
1180
原创 常用大语言模型简单介绍
LLaMA是 Meta 开发的开源大型语言模型，用于执行多种 NLP 任务。Ollama是一个工具或平台，允许用户在本地运行和管理多个语言模型，包括 LLaMA。它简化了 LLM 的运行流程，使用户可以通过命令行轻松调用和实验模型。因此，LLaMA 是一个模型本身，而Ollama 是一个工具，用于运行包括 LLaMA 在内的多种大语言模型。
2024-09-29 22:02:33
4959
原创 萱仔求职系列——链表练习
由于我这几天面到的一些图像算法岗也提到了我不熟悉c++的软肋，我准备复习算法的时候顺带复习复习c++，也算是不浪费一丝一毫的刷题时间！一开始我以为可以直接记录下来有没有这个内容，字典中，如果有的话就相当于有环，但是这样就比较的复杂， 相当于空间复杂度为O（n）。但是我看了题解中写的快慢指针，非常简单，相当于如果有一个快指针夺走一步，满指针每次只走一步，如果遇见了那就是有圈！来表示链表尾连接到链表中的位置（索引从 0 开始）。的链表，表示两个非负的整数。请你将两个数相加，并以相同形式返回一个表示和的链表。
2024-09-28 23:52:14
336
原创 Agent智能体
Agent（智能体）是一个能够感知环境并采取行动的自主实体，通常被设计用于在特定的环境中执行任务。智能体可以通过学习、推理等方式来决策，目标是最大化某种效用或实现某个预定的目标。它们广泛应用于自动化系统、游戏AI、机器人、自然语言处理、推荐系统等领域。
2024-09-27 23:58:43
844
原创 机器学习常用的评价指标原理和代码
最近面试的时候，很多面试官问道了我项目中的一些评价指标的算法和原理，我觉得这确实也是一个很重要的内容，所以趁这个机会综合起来一块复习一下，在刷力扣的时候也不能忘记项目最常用的内容嘛。它们都表示模型在所有实际为正类的样本中，正确预测为正类的比例。：计算误差的绝对值与真实值的比率的平均值，反映相对误差。：实际为正类的样本中，正确预测为正类的比例。：预测为正类的样本中，真正为正类的比例。
2024-09-27 15:36:38
516
原创 BLEU和ROUGE评价指标原理和计算方式
BLEU是一种自动评估生成文本与参考文本相似性的指标，主要用于机器翻译。它通过计算n-gram的重叠程度来判断生成文本的质量。ROUGE是一组用于自动评估文本生成质量的指标，主要用于文本摘要。它通过计算生成文本与参考文本之间的重叠情况，尤其关注召回率。
2024-09-26 23:51:44
1516
原创 kaggle项目：ISIC 2024 - Skin Cancer Detection with 3D-TBP
在这场比赛中，将开发基于图像的算法，从3D全身照片（TBP）中识别组织学确诊的具有单病变作物的皮肤癌症病例。图像质量类似于特写智能手机照片，这些照片通常用于远程医疗目的。预测的二元分类算法可以在没有专业护理的情况下使用，并改进早期皮肤癌症检测的分类。该数据集由带有额外元数据的诊断标记图像组成。这些图像是JPEG格式的。相关的.csv文件包含一个二进制诊断标签（目标）、潜在的输入变量（例如age_approx、sex、anatom_site_general等）和其他属性（例如图像源和精确诊断）。
2024-09-26 18:59:27
1823
原创 NLP任务的详细原理与步骤的详细讲解
对每个NLP任务的原理和步骤的详细讲解。每个任务的实现依赖于特定的模型架构和数据处理方法，理解这些原理有助于在实际应用中选择合适的方法和工具。
2024-09-25 23:55:47
1084
原创 nlp大语言模型原理
：研究句子意义的任务，包括语义角色标注（Semantic Role Labeling）、语义依存分析（Semantic Dependency Parsing）和指代消解（Coreference Resolution）。：这是NLP的基础，包括分词（Tokenization）、词性标注（Part-of-Speech Tagging）和命名实体识别（Named Entity Recognition）。这些任务共同构成了自然语言处理领域的核心内容，涵盖了从基础的语言结构分析到高级的语义理解和应用12。
2024-09-25 23:29:28
325
原创 Transformer模型详细步骤
输入嵌入（Input Embeddings）位置编码（Positional Encoding）多头自注意力机制（Multi-Head Self-Attention）前馈神经网络（Feedforward Neural Network）编码器（Encoder）和解码器（Decoder）结构输出层（Output Layer）
2024-09-16 23:24:48
1264
原创 萱仔大模型学习记录——6.1RAG入门理论学习＋奠基论文学习
RAG是一种将检索和生成相结合的技术，擅长生成基于真实信息的答案。Agent是一个自主行动的系统，能够根据任务需求做出决策。RAG+Agent的组合让系统既有知识深度，又能自主决策，形成强大的智能化解决方案。
2024-09-16 00:35:26
1256
原创 萱仔环境记录——git的使用流程：以上传一个项目进入GitHub仓库为例子
（由于我最近参加了一个kaggle比赛，虽然由于参加的比较仓促，排名很靠后，但是这也是我第一次上传并参加了kaggle比赛，虽然以前做了一些kaggle的项目，但是这次是我头一次自己按照比赛流程上传了代码和结果，虽结果不好，但是还是感觉比较有成就感的，所以我之后会持续更新那个kaggle项目，继续进行一些调整，看一下会不会有更好的结果，我准备以这个项目为例子，持续修改本篇博文，记录上传到github的过程和修改之后更新的过程。然后去查看一下我要上传的地方（蓝色的网址，复制下来）
2024-09-10 18:23:47
459
原创 萱仔个人博客系列——创建一个新的文章
这里我要简单介绍一下markdown写一篇博文，还要熟悉一下博文里常用的元素，比如多级标题，文字格式的设置，列表，代码，公式模块怎么设置等等。
2024-09-10 09:58:02
378
原创 萱仔求职系列——3.2 力扣面试150题目——数组&字符串第二弹
这又是一个贪心算法的问题，可以想成，我要走到最远最远，然后每一个比他远的我都记录下来，然后如果一直已经走到了最远，相当于我能走到最后，所以就是对的。解法2，动态规划（我准备过两天一块复习动态规划，所以这里先不细讲）简单来说就是把问题分成子问题）只要今天的价格比昨天的价格高，我们就可以选择在昨天买入，今天卖出。在每一天，你可以决定是否购买和/或出售股票。数组中的每个元素代表你在该位置可以跳跃的最大长度。判断你是否能够到达最后一个下标，如果可以，返回。你也可以先购买，然后在。给你一个非负整数数组。
2024-08-26 23:01:18
222
原创 2.2 python基础知识复习——python面向对象的原理和代码详解
面向对象编程是程序设计的一种范式，旨在通过封装、继承和多态等机制来组织和管理代码。Python 是一种支持面向对象编程的语言。下面是面向对象编程的基本原理以及代码示例。
2024-08-22 18:19:18
1071
原创 萱仔求职系列——3.1 力扣面试150题目——数组&字符串第一弹
这个题目吧，非常简单，要把n2合到n1里，不能重新搞一个新的表出来，由于它本身就是两个非递减的整数数组，我直接用3个指针就好啦，重点在于我要从后往前里面填入数据，因为他那个从前往后会盖住后面的数，没有空位。由于最近求职又涉及到很多面试时候敲代码，我又不得不捡起我的老力扣，只能说刷题这个东西必须越耍越上瘾，我将稳定更新，每天做3-10题。接着用字典解决熬，记住每个词出现的次数，我这个解法虽然很拉，但是个人认为思路简单，无脑解决问题。你可以假设数组是非空的，并且给定的数组总是存在多数元素。
2024-08-15 21:39:15
935
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人