- 博客(207)
- 收藏
- 关注
RSS订阅原创 亮数据——无代码快速爬取数据并做可视化
当需要数据收集时，人们往往会想到爬虫技术。通过代码模拟人点击鼠标的过程，向服务器发送请求，再解析获得的响应，从而收集到想要的数据。但是对于没有接触过爬虫的同学来说，想要写好一段爬虫代码是很困难的，尤其是要爬取的网页有一些反爬机制的时候，就更加难写。今天给大家推荐一款无代码的数据爬取工具——亮数据
2025-03-28 10:14:33
728
原创 Nano-GraphRAG复现——只使用Ollama，无需API Key
在微软GraphRAG复现过程中，因其复杂的程序和源代码的错误，导致很难复现。因此，github中出现了graphrag的平替版本——NanoGraphRAG，该项目提供了一个更小、更快、更干净的 GraphRAG，同时保留了核心功能。** 但是很多小伙伴困扰于没有OpenAI的API key，因此本文介绍了如何使用Ollama跑通Graphrag，只需简单的操作即可！欢迎点赞收藏！
2025-03-06 19:09:55
458
3
原创 快速离线配置新版vscode-server，绝对避雷！
当生产环境是离线的时候，vscode-server没法自动下载配置，这就需要手动配置.下面，跟着本篇博客带你轻松配制好新版的vscode-server.觉得有帮助的小伙伴可以点个收藏和赞哦！
2025-02-24 10:02:50
1032
原创 PageRank代码实战——水浒传人物重要度排序与可视化
在数据分析和网络科学中，然而，PageRank不仅仅适用于网页排名，它还可以用于分析其他类型的网络结构，比如社交网络、引用网络，甚至是小说中的人物关系网络。在这篇博客中，我们将使用PageRank算法来分析《水浒传》中的人物关系，并对人物的重要性进行排序和可视化。
2025-02-21 14:49:35
820
原创 Jupyter Notebook报错500 : Internal Server Error/ImportError: cannot import name ‘Self‘ from ‘typing_ex
Jupyter Notebook的问题，已经成功解决，下面跟随这篇博客进行Debug吧！然后就可以正常打开啦！
2025-02-20 18:10:31
138
原创 DeepSeek r1+RAG:基于langchain实现RAG系统
在人工智能蓬勃发展的当下，大语言模型的应用越来越广泛。然而，如何让大模型更加智能，能够结合特定的知识给出更准确的回答，成为了许多开发者关注的焦点。今天，我们就来探讨一下如何基于 langchain 实现一个强大的 RAG 系统，并结合 DeepSeek 模型！
2025-02-19 18:33:19
882
原创 2024年度总结——理想的风，吹进现实
2024年悄然过去，留下了太多美好的回忆，不得不感慨一声时间过得真快啊！旧年风雪尽，新岁星河明。写下这篇博客，记录我独一无二的2024年。如果用一句话总结这一年，我想用的是，如果用三个词总结这一年，我想用的是。这一年，结束了我的大三下和大四上时光，成功保研到了，离家更近了一些。这一年，我拿到了，圆了大学的梦想。这一年，我，留下了自己的身影。这一年，我，甚至会为一场球赛热泪盈眶。这一年，我更加明白，明白家是心灵的港湾。
2025-01-26 19:50:27
1847
25
原创 Docker与虚拟机的区别及常用指令详解
Docker和虚拟机各有优缺点，选择哪种技术取决于具体的应用场景和需求。Docker以其轻量级和快速部署的特性，在现代开发中得到了广泛应用。通过掌握Docker的常用指令，开发者可以更高效地管理和部署应用程序。希望本文能帮助你更好地理解Docker与虚拟机的区别，并在实际工作中灵活运用Docker技术。
2025-01-14 18:14:49
889
转载 FlashAttention的原理及其优势
FlashAttention 是一种高效且内存优化的注意力机制实现方法，通过分块计算和内存访问优化，显著降低了注意力机制的计算开销。它不仅适用于现有的Transformer模型，还为未来更大规模的模型提供了可能性。随着深度学习模型的不断扩展，FlashAttention 将成为解决计算和内存瓶颈的重要工具。
2025-01-13 17:24:55
1196
原创 为什么Transformer使用LayerNorm而不是BatchNorm？
在深度学习的Transformer架构中，有一个有趣的细节是它使用了Layer Normalization（）而非Batch Normalization（这两种归一化方法在不同的神经网络架构中都发挥着重要的作用，但为什么Transformer选择了LayerNorm呢？让我们来一探究竟。
2025-01-13 17:16:08
1065
原创 什么是大模型复读机问题：原因和解决方案
复读机问题是大语言模型生成文本时的一种常见现象。重复相同的词语或短语。反复表达相同的意思，尽管用词可能略有不同。在长文本生成中，模型忘记之前的内容，重新生成相似段落。例如，当用户向模型提问“如何提高写作能力？”时，模型可能会反复强调“多读书”或“多练习”，而缺乏更深层次的建议。这种现象不仅降低了生成文本的质量，还可能让用户感到困惑或不耐烦。复读机问题是大语言模型在文本生成过程中面临的一个重要挑战。其成因复杂，涉及训练数据、解码策略、模型架构等多个方面。
2025-01-11 15:51:00
1263
原创 为何SFT之后模型反而变傻了，有什么解决方案？
在当今的人工智能领域，SFT（Supervised Fine - Tuning）是提升模型性能以适应特定任务的常用手段。然而，不少开发者都遭遇过一个头疼的问题：模型经过SFT后，表现不但没有提升，反而“变傻”了。今天咱们就来深入探讨一下这背后的原因以及行之有效的解决方案。
2025-01-11 15:50:45
978
原创 Prefix LM 和 Causal LM 区别是什么？
Causal LM是严格单向的，只能利用前面的词，适合纯生成任务（如 GPT）。Prefix LM允许前缀部分双向编码，适合需要结合上下文的任务（如 T5、BART）。虽然两者都基于前面的内容预测后续内容，但Prefix LM对前缀的处理更灵活，能够利用更多的上下文信息。希望这篇博客能帮助你更好地理解Prefix LM和Causal LM的区别！如果还有疑问，欢迎继续讨论！
2025-01-10 08:40:53
806
原创 RAG项目实战——基于Llamaindex微调BGE Embedding模型（附完整源码和转化好的数据集下载）
RAG模型通过结合检索和生成两个步骤来回答问题。首先，模型从大量文档中检索出与问题相关的文档片段，然后基于这些片段生成最终的回答。检索步骤的准确性直接影响到生成步骤的效果，而检索的准确性又依赖于嵌入模型的质量。嵌入模型的作用是将文本转换为向量表示，使得语义相似的文本在向量空间中距离较近。然而，通用的预训练嵌入模型可能无法很好地适应特定领域或任务的需求。因此，通过对嵌入模型进行微调，可以使其更好地适应特定的任务和数据集，从而提高检索的准确性。
2025-01-10 08:40:36
1538
原创 多模态RAG项目实战——结合CLIP与MLLM实现图像检索与理解（附源码、数据集下载和模型下载方式）
多模态图文检索实战——基于CLIP实现图文检索系统（附源码）：生成文本嵌入。：从本地路径读取图像并生成图像嵌入。：计算两个向量之间的余弦相似度。：计算查询与候选图像之间的相似度，并返回最匹配的图像。：批量生成候选图像的嵌入。# 函数：生成文本嵌入try:# 从本地路径读入图片。
2025-01-09 14:11:25
2630
原创 卷积参数量和计算量怎么计算？
在深度学习领域，卷积操作是非常重要且常用的一种运算方式，了解其参数量和计算量的估计方法对于模型的设计、优化以及资源评估等方面都有着关键的意义。
2025-01-09 09:50:46
1150
原创 大模型实战——基于langchain实现AdvanceRAG（附完整源代码、包括Query改写、Prompt、Reranker重排）
通过本文，我们详细介绍了AdvanceRAG的工作流程，包括Query改写、使用集成检索器进行文档检索、通过CrossEncoder进行文档重排以及最终使用LLM生成回答。这一流程展示了如何利用先进的自然语言处理技术，实现高效、准确的信息检索与回答生成。希望本文能帮助你更好地理解并应用AdvanceRAG技术，解决实际的自然语言处理任务。希望大家喜欢，我们下篇博客再见！
2025-01-08 17:13:42
1193
原创 什么是隐马尔可夫模型？
隐马尔可夫模型（Hidden Markov Model，HMM）是一种统计模型，用于描述一个含有隐含未知参数的马尔可夫过程。它由两个部分组成：一个是隐藏的马尔可夫链，其状态不能被直接观察到；另一个是与隐藏状态相关的可观察的输出序列。简单来说，它可以根据已知的观测序列来推测隐藏的状态序列。
2025-01-08 10:22:52
893
原创 多模态图文检索实战——基于CLIP实现图文检索系统（附源码）
利用CLIP模型实现图文检索为我们在多媒体数据处理等诸多领域提供了很大的便利，比如在图像搜索引擎、内容推荐系统等方面都有着广阔的应用前景。这也是RAG最核心的部分可以说这是多模态RAG的一个简单尝试，在实际应用中，我们还可以进一步优化模型参数、增加更多的图片和文本数据进行训练、改进相似度计算的策略等，来不断提升图文检索的准确性和效率，希望这篇博客能够帮助大家对利用CLIP实现图文检索有一个初步的了解和实践思路哦。
2025-01-07 18:44:01
1750
原创 VISRAG论文介绍：一种直接的视觉RAG
VisRAG 的新颖设计突出了直接利用 VLM 而无需中间解析，可以重新定义 RAG 系统的边界。，产生一系列隐藏状态，最终嵌入通过对最后一层VLM隐藏状态进行加权平均池化得到。在用户查询时，同样用这个VLM对用户的Query进行编码，并在RAG数据库中进行查找。VisRAG-Ret使用VLM直接对文档页面进行编码，而不是先解析文档获取文本。Method：和传统基于文本的RAG一样，VISRAG也分为检索阶段和生成阶段，分别叫做VisRAG-Ret和VisRAG-Gen。，一种直接的视觉RAG。
2025-01-06 20:16:22
351
原创 NLP项目实战——基于Bert模型的多情感评论分类（附数据集和源码）
在当今数字化的时代，分析用户评论中的情感倾向对于了解产品、服务的口碑等方面有着重要意义。在本次项目中，我们将展示如何利用 Python 语言结合transformers库，借助。
2025-01-06 20:10:17
2568
原创 绝对位置编码和相对位置编码有什么联系和区别？
绝对位置编码和相对位置编码是Transformer模型中处理序列数据时引入位置信息的两种不同方法。它们各有优缺点，适用于不同的任务场景。在选择使用哪种位置编码时，需要根据具体任务的需求和模型的复杂度进行权衡。在某些情况下，结合使用两种位置编码方法可能会取得更好的效果。
2025-01-04 17:47:43
890
原创 Self-Attention和Cross-Attention的联系与区别
Self-Attention（自注意力）是指在处理输入序列中的每个元素时，考虑到该元素与序列中所有其他元素之间的关系。这种机制能够让模型在处理每个输入时，不仅仅依赖于当前输入的信息，还能够通过加权的方式获取到其他输入的信息，从而更好地捕捉到输入序列中各个元素之间的依赖关系。在Self-Attention机制中，每个输入元素都与序列中所有其他元素进行相互作用，计算它们之间的相似性（通常是通过点积来计算）。基于这些相似性得分，模型能够动态地调整每个元素的表示，使得每个元素能够获得与其最相关的信息。
2024-12-17 21:37:26
1424
原创 Flamingo论文介绍：把视觉特征向语言模型看齐
今天介绍一篇经典的多模态论文，来自NeurIPS 2022的《Flamingo: a Visual Language Model for Few-Shot Learning》
2024-12-17 20:50:05
1287
原创 如何使用微调后的Lora适配器？
Lora是一种轻量级的模型适配技术，旨在减少微调大规模预训练模型时的计算和存储需求。通过引入低秩矩阵的适配器，Lora能够在不改变原始预训练模型的基础上，通过学习适当的低秩矩阵来调整模型的参数。这样，Lora使得微调过程中只需要调整少量的参数，极大地降低了微调的成本。
2024-12-16 20:10:58
496
原创 怎么理解大模型推理时的Top_P参数？
在大语言模型推理过程中，Top_P参数（也叫 核采样）是一种控制生成文本的策略，用于调整生成的多样性和准确性。它的全称是 累积概率采样（Cumulative Probability Sampling）。在文本生成任务中，模型会根据当前的上下文预测下一个单词或标记。在传统的 贪婪解码（greedy decoding）中，模型每次都会选择概率最大的单词。然而，这样的策略可能会导致生成的文本过于单一、缺乏多样性。为了增加多样性，top_p 提供了一种替代方法。它基于模型预测的单词概率来控制生成的单词选择范围。
2024-12-12 22:44:18
2671
原创 CLIP论文提炼与代码实战
今天和大家分享一篇多模态的经典论文，大名鼎鼎的CLIPLearning Transferable Visual Models From Natural Language Supervision。
2024-12-09 17:38:00
908
1
原创 RAG系统分类、评估方法与未来方向
分享一篇RAG综述：[Retrieval-Augmented Generation for Large Language Models: A Survey](https://arxiv.org/pdf/2312.10997)，主要想了解一下RAG的评估方法，分享给大家。
2024-12-07 21:08:50
1103
原创 LLM/深度学习Linux常用指令与代码（进阶）
CUDA_VISIBLE_DEVICES指定卡号，train.py表示运行的程序，result.log表示日志存放的地址，默认存放在当前目录下，也可以指定路径，比如。当需要查看大规模json文件或者txt文件时，如果直接打开，不仅打开缓慢，还很有可能导致界面卡死，可以通过head查看文件内容。服务器之前传输大文件如模型文件时，还是以压缩包的形式传输比较好，防止数据损坏，主要用两种打包方式，zip打包和tar打包。-s：表示只显示目录的总大小（不显示子目录的大小）。f：指定归档文件名。
2024-12-04 15:36:28
1144
1
原创 怎样理解Transformer里面的KQV？
之前有介绍过Transformer的结构，其中最重要的部分就是里面的自注意力公式，其实就是对KQV矩阵做运算，但是不是很明白，通过这篇博客帮助自己和大家有更好的理解。
2024-11-28 09:17:22
753
原创 ollama本地部署LightRAG（已跑通）
安装ollama，ollama官网提供的方法速度比较慢，经常容易出现中断的现象。首先需要将LightRAG的项目拉到本地，具体可以参考github的项目，至此，通过ollama本地部署LightRAG完成。，将llm_model_name修改成。首先将ollama服务开启。
2024-11-16 15:46:48
5726
29
原创 GNN入门案例——KarateClub结点分类
定义一个简单的GNN模型，包含三个GCNconv和一个分类层，激活函数选择tanh，将GCNConv结果和最后分类的结果都做返回。
2024-11-13 11:39:06
958
原创 Latex入门：简单指令
LaTeX（发音为“Lah-tech”或“Lay-tech”）是一个基于TeX的排版系统，广泛用于科学、数学和工程领域的文档排版。它特别适合处理复杂的公式和文献引用，因此在学术界得到了广泛应用。LaTeX的主要特点：高质量排版：LaTeX可以生成高质量的PDF文档，特别是在处理数学公式和专业排版方面表现出色。结构化文档：用户可以使用简单的标记来定义文档的结构（如章节、标题、段落等），LaTeX会自动处理排版、编号和引用。
2024-10-15 15:34:10
1049
原创 Transformer面试真题详解——覆盖99%的Transformer面试问题（建议收藏）
Transformer面试真题详解——覆盖99%的Transformer面试问题（建议收藏）！
2024-09-01 22:28:39
1766
原创 书生.浦江大模型实战训练营——（十三）茴香豆：企业级知识库问答工具
修改完配置文件后，就可以进行知识库的搭建，本次教程选用的是茴香豆和 MMPose 的文档，利用茴香豆搭建一个茴香豆和 MMPose 的知识问答助手。
2024-08-27 21:13:46
543
原创 书生.浦江大模型实战训练营——（十四）MindSearch 快速部署
将 /root/mindsearch/mindsearch_deploy`目录下的文件（使用 git）提交到 `HuggingFace Space` 即可完成部署了。将代码提交到huggingface space的流程如下
2024-08-27 15:19:03
939
原创 书生.浦江大模型实战训练营——（十二）InternVL 多模态模型部署微调实践
InternVL 是一种用于多模态任务的深度学习模型，旨在处理和理解多种类型的数据输入，如图像和文本。它结合了视觉和语言模型，能够执行复杂的跨模态任务，比如图文匹配、图像描述生成等。通过整合视觉特征和语言信息，InternVL 可以在多模态领域取得更好的表现
2024-08-27 14:49:28
599
原创 书生.浦江大模型实战训练营——（十一）LMDeploy 量化部署进阶实践
使用结合W4A16量化与kv cache量化的internlm2_5-1_8b-chat模型封装本地API并与大模型进行一次对话，使用Function call功能让大模型完成一次简单的"加"与"乘"函数调用。
2024-08-26 21:38:30
929
原创 书生.浦江大模型实战训练营——（十）Lagent 自定义你的 Agent 智能体
继承 BaseAction 类实现简单工具的 run 方法；或者实现工具包内每个子工具的功能简单工具的 run 方法可选被 tool_api 装饰；
2024-08-26 12:09:34
511
全国大学生学科竞赛全览-涵盖多项领域及具体实施细则
2025-02-26
LLM八股文知识点集合
2025-02-26
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人