- 博客(18)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 nano-graphrag代码详解
😭 GraphRAG很强大，但官方的实现阅读或修改起来非常困难。😊 本项目提供了一个更小、更快、更简洁的 GraphRAG，同时保留了核心功能。以下是该项目的详细代码注释，作为学习记录和后续修改代码的参考。
2024-09-23 19:01:15
3472
2
原创 Physics of Language Models学习小结
对这部分进行概括的话就如摘要所说设计了受控实验来研究生成式语言模型（如 GPT）如何学习上下文自由语法（CFG）。上下文无关文法（Context-Free Grammar，CFG）是一种用于描述语言结构的形式语法，广泛应用于自然语言处理、编译原理等领域。CFG由一组产生式规则组成，这些规则定义了语言的语法结构。在CFG中，每个产生式规则具有形式“A → α”，其中A是非终结符，α是终结符或非终结符的序列1。
2024-08-26 23:10:21
1723
原创 GraphRAG层级多标签文本分类任务实战（1）
GraphRAG的本质是调用LLM生成知识图谱，然后在回答问题时检索相关内容输到prompt里，作为补充知识来辅助回答。那么有没有可能将这运用到层级多标签文本分类（HMTC)任务中呢？当然，乍一听有一点天方夜谭，因为GraphRAG的提出是为了解决QFS这样的全局问题，这和HMTC任务理应毫无关系。不过我们先思考解决实际的HMTC问题，并且不使用传统算法，而是使用LLM进行分类回答。
2024-08-25 16:53:36
2003
原创 GraphRAG学习小结（3）
此时，我们有一个实体和关系的功能图，实体的社群层次结构，以及node2vec嵌入。现在，我们希望以社群数据为基础，为每个社群生成报告。这可以让我们对graph有了高水平的理解。例如，如果A是顶级社群，我们将收到一份关于整个图表的报告。如果社群是较低级别的，我们将收到一份关于本地集群的报告。生成社群报告在此步骤中，我们使用LLM生成每个社群的摘要。这将使我们能够理解每个社群中包含的不同信息，并从高层次或低层次的角度对graph进行范围化理解。这些报告包含概述，并参考了社群子结构中的关键实体、关系和声明。
2024-08-12 17:47:44
1993
原创 GraphRAG学习小结（4）
文件位置原文#######-Data-#######Output:"""翻译结果"""包含prompts定义的文件。"""您是一名得力助手，负责为下面提供的数据生成一份综合摘要。给定一个或两个实体，以及一个描述列表，所有描述都与同一个实体或实体组相关。请将所有这些描述串联成一个全面的描述。确保包含从所有描述中收集的信息。如果所提供的描述相互矛盾，请解决矛盾，并提供一个单一、连贯的摘要。确保以第三人称撰写，并包含实体名称，以便我们了解全部背景情况。
2024-08-09 14:34:54
2072
2
原创 GraphRAG学习小结（2）
首先来看小说中最常出现的实体“我”，该实体的摘要如下。"文中的叙述者，经历了书籍被损坏的事件，感到非常委屈。" "文中的第一人称，对女孩子的行为感到不满，并且因为被叫做幽灵而生气，但后来接受了女孩子的道歉。
2024-07-31 13:24:10
2576
原创 GraphRAG学习小结（1）
RAG，即Retrieval-Augmented Generation，字面上来看就是一种增强检索（Retrieval）的生成（Generation）方式。稍微展开一点的话可以这样理解，在传统语言模型中，回答仅基于训练阶段的预先学习的模式和信息生成。然而，这些模型本质上受到它们所训练的数据的限制，容易导致回答的结果缺乏深度或因特定知识的缺失而出现“幻觉”。RAG通过在生成过程中根据需要提取外部数据来解决这一限制。
2024-07-26 13:16:04
1431
原创 构建JSON格式的树状图
JSON（JavaScript Object Notation）是一种轻量级的数据交换格式，易于人阅读和编写，同时也便于机器解析和生成。它基于JavaScript的一个子集，但与编程语言无关，广泛用于数据传输和存储。
2024-07-16 16:19:17
1048
原创 MCT Self-Refine算法原理解读与代码复现
MCT Self-Refine（MCTSr）算法，它是大型语言模型（LLM）与蒙特卡洛树搜索（MCTS）的创新集成，旨在提高复杂数学推理任务的性能。MCTSr 利用系统探索（MCT的特点）和启发式自我完善（self-refine）机制来改进 LLM 中的决策框架，从而解决了 LLM（尤其是战略和数学推理）中的准确性和可靠性难题。该算法通过 "选择"、"自我完善"、"自我评估 "和 "反向传播 "的迭代过程来构建蒙特卡罗搜索树，并利用改进的置信度上限（UCB）公式来优化探索与利用。
2024-06-27 08:55:45
1992
原创 层级多标签文本分类问题的评价体系及程序
本期的任务是对层级多标签文本分类问题的评价方法进行研究，并完成相应的程序。最开始以为是一个相当简单的问题，但稍微深入了解了一下，发现是个很有趣的问题。这篇文章整体写得有点乱，想要快速了解可以直接跳到4开始看。层级多标签文本分类问题，英文为Hierarchical-Multilabel-Text-Classification，简称hmtc，但因为并没有一个统一的中文翻译，也有不少人称其为层次多标签文本分类。层级多标签文本分类问题(HMTC)属于层级多标签分类问题(HMC)，尤其是在评价方法上没有任何区别。
2024-06-19 16:49:02
1330
原创 kaggle实战——BirdCLEF 2024
您在本次竞赛中面临的挑战是识别在西高止山脉全球生物多样性热点地区录制的录音中哪些鸟在鸣叫。这对出于保护目的监测鸟类种群的科学家来说是一项重要任务。更准确的解决方案可以实现更全面的监测。本次竞赛使用隐藏测试集。在对您提交的笔记本进行评分时，您的笔记本将提供实际测试数据。
2024-05-20 02:03:42
1658
3
原创 通义千问大模型prompt调试
任务依旧是文本分类，大模型选用的是通义千问72B-chat-int4。这里不对参数进行调整，只讲述不同prompt对于结果及其准确度的影响。数据使用之前数据清理的铁矿石文本。写的非常零碎，只作为个人学习记录，因为服务器莫名掉线，一晚上程序白写，文章后期就摆烂了....仅供参考。
2024-05-15 13:21:00
2801
原创 结合实际任务的文本数据清理学习小结
接到了一个数据清理的任务，这里就写一个简单的总结，并且把学习过程和代码记录下来以便复习，也希望能给其他人作为一个简单的参考。
2024-05-09 15:06:43
847
原创 神经网络与深度学习总结（4）
这一周主要的内容就是自然语言处理和循环神经网络。本文参考了邱锡鹏老师的《神经网络与深度学习》，app store上同名软件的演示以及《动手学深度学习》。
2024-05-06 15:43:43
765
原创 神经网络与深度学习总结（3）
想要精确预测每个像素的分割结果必须经历从大到小，再从小到大的两个过程；在升采样过程中，分阶段增大比一步到位效果更好；在升采样的每个阶段，使用降采样对应层的特征进行辅助得到的结果还是不够精细。进行8倍上采样虽然比32倍的效果好了很多，但是上采样的结果还是比较模糊和平滑，对图像中的细节不敏感对各个像素进行分类，没有充分考虑像素与像素之间的关系。忽略了在通常的基于像素分类的分割方法中使用的空间规整（spatial regularization）步骤，缺乏空间一致性。
2024-04-22 18:23:33
894
1
原创 持续学习综述
我之前学习过的神经网络和深度学习知识都可以说是任务驱动的，无论是分类任务，模式识别还是生成模型，通常都是针对具体问题，如何搭建模型和优化算法的，比如YOLO和Transformer这些。这也算是第一次比较认真去直接看脱离具体问题的抽象问题。感觉和attention机制比较像，可能再看一些落地应用和具体算法就不会有这样的错觉了。
2024-04-22 14:08:01
5863
原创 神经网络与深度学习总结（2）
这一周课堂讲授部分主要是卷积神经网络。越往后学习越发感觉到python的重要性，不然代码完全看不懂...本文参考了邱锡鹏老师的《神经网络与深度学习》，app store上同名软件的演示以及《动手学深度学习》。
2024-04-17 18:00:42
1032
原创 神经网络与深度学习总结（1）
作者本科阶段是自动化专业，主要做的是滑模控制相关的内容。读研阶段深感控制学科的局限性，于是决定投身于人工智能的学习。这有一个很重要的契机，作者平时爱好画画，有时也会画些原创作品投到网站上，研一的时候偶然接触到了stable diffusion，在家里只用3060ti就可以完成通过别人预训练的模型，通过简单的提示词完成作品的绘制，这让我大受震惊，于是开始了对AIGC的学习和了解。AIGC（AI Generated Content)属于人工智能的一个分支，主要涉及到的知识点就是神经网络与深度学习。
2024-04-01 19:14:53
763
1
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人