<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[惟天有汉，故国有明的博客]]></title><description><![CDATA[逛逛]]></description><link>https://blog.youkuaiyun.com/qq_33419476</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; qq_33419476]]></copyright><item><title><![CDATA[RagSEDE复现: Docker and Ragflow 关系]]></title><link>https://blog.youkuaiyun.com/qq_33419476/article/details/162903682</link><guid>https://blog.youkuaiyun.com/qq_33419476/article/details/162903682</guid><author>qq_33419476</author><pubDate>Wed, 15 Jul 2026 16:04:12 +0800</pubDate><description><![CDATA[local ragflow与docker ragflow镜像冲突。- 在Ragflow/docker文件路径下：docker compose up -d   # 启动ragflow service。- docker ps   #  检查docker ragflow 版本和状态，cpu status: healthy.所以当Docker ragflow镜像和local ragflow version不一样时，就会发生兼容error！Ragflow UI是 docker中 ragflow镜像的可视化。]]></description><category></category></item><item><title><![CDATA[GNN Algorithms(9): 多模态Multi-Modal、多任务Multi-Task]]></title><link>https://blog.youkuaiyun.com/qq_33419476/article/details/140487641</link><guid>https://blog.youkuaiyun.com/qq_33419476/article/details/140487641</guid><author>qq_33419476</author><pubDate>Wed, 17 Jul 2024 11:16:50 +0800</pubDate><description><![CDATA[多任务学习 (Multi-Task Learning, MTL)是一种将多个相关任务学习到一个模型中的方法，以提高模型的泛化能力和学习效率。在CV领域，多任务学习常用于图像分类、目标检测、语义分割等任务的联合学习。
多模态学习 (Multi-Modal Learning, MML)是一种将多种类型的数据(e.g. image, text, audio, v ideo等)作为输入的学习方法，以提高模型的表现力和泛化能力。]]></description><category></category></item><item><title><![CDATA[GNN Algorithms(8): Knowledge Distillation 知识蒸馏]]></title><link>https://blog.youkuaiyun.com/qq_33419476/article/details/140443731</link><guid>https://blog.youkuaiyun.com/qq_33419476/article/details/140443731</guid><author>qq_33419476</author><pubDate>Mon, 15 Jul 2024 17:03:27 +0800</pubDate><description><![CDATA[知识蒸馏 knowledge distillation核心：近似思想。student model -> 近似模拟teacher model。]]></description><category></category></item><item><title><![CDATA[LLM 研究方向(三): LLM Hallucinations--RAG]]></title><link>https://blog.youkuaiyun.com/qq_33419476/article/details/140312754</link><guid>https://blog.youkuaiyun.com/qq_33419476/article/details/140312754</guid><author>qq_33419476</author><pubDate>Wed, 10 Jul 2024 08:53:58 +0800</pubDate><description><![CDATA[，是一种结合了信息检索 retrieval和生成技术generation的nlp方法。概念：LLM hallucinations 幻觉指的是LLM生成的内容中。这些幻觉内容看起来像是真实和连贯的，但实际上是错误的或没有依据的。提升数据质量、引入验证机制、加强监督学习、使用组合模型、后处理检查。通过这些方法，可以有效减少幻觉，提高生成内容的准确性和可靠性。包含虚构、不准确或误导的信息。RAG方法(检索增强生成)信息检索retireval。得到的有用信息作为答案辅助。1.4.4 使用组合模型。]]></description><category></category></item><item><title><![CDATA[LLM 研究方向(二): LLM Alignment--RLHF、DPO]]></title><link>https://blog.youkuaiyun.com/qq_33419476/article/details/140312470</link><guid>https://blog.youkuaiyun.com/qq_33419476/article/details/140312470</guid><author>qq_33419476</author><pubDate>Wed, 10 Jul 2024 08:38:52 +0800</pubDate><description><![CDATA[1. 视觉语言模型CLIP(Contrastive Language-Image Pretraining)，通过对比学习，将图像和文本嵌入到一个共同的特征空间中，使得相关联的图像和文本对pair在该空间中距离较近，而不相关的图像和文本对距离较远。{"text1": "生成的文本1", "text2": "生成的文本2", "preference": 1},  # preference=1表示text1更好。每次迭代过程中，model生成新的文本样本，收集人类反馈，更新奖励模型，然后通过RL微调语言模型。]]></description><category></category></item><item><title><![CDATA[LLM 研究方向(一): LLM Prompts--p-tuning、LoRA]]></title><link>https://blog.youkuaiyun.com/qq_33419476/article/details/140257926</link><guid>https://blog.youkuaiyun.com/qq_33419476/article/details/140257926</guid><author>qq_33419476</author><pubDate>Mon, 08 Jul 2024 10:21:23 +0800</pubDate><description><![CDATA[paper: Optimizing Continuous Prompts for Generation, 就是在input tokens前面加上几个与任务相关task-specific的tokens，并用单独训练生成embeddings。Note：tokens不拼接！原有的input tokens依旧用transformer生成embeddings，并且保持transformer参数不变。优点：实现简单、高效训练、任务一致性。]]></description><category></category></item><item><title><![CDATA[机器学习之数学基础(七)～过拟合(over-fitting)和欠拟合(under-fitting)]]></title><link>https://blog.youkuaiyun.com/qq_33419476/article/details/139966850</link><guid>https://blog.youkuaiyun.com/qq_33419476/article/details/139966850</guid><author>qq_33419476</author><pubDate>Tue, 25 Jun 2024 19:47:21 +0800</pubDate><description><![CDATA[这时模型学嗨了，不肯停止，一直持续学习，学到了很多内容：有翅膀、嘴巴长、脖子形状像2、白色等特征的就是天鹅。结果：这时飞过来的黑天鹅被误判为不是天鹅，因为黑色从来没有出现过，这使得模型把颜色这种局部特征过度学习成了全局特征，从而产生了识别误差。结果：该模型将所有符合这两个特征的动物都预测为天鹅，比如鹦鹉、山鸡等，这就导致了误差的产生。模型学习到的天鹅特征太少了，导致区分标准过于粗糙，从而导致模型不能准确地识别出天鹅。模型对训练集以外的预测能力称为模型的泛化能力，追求这种泛化能力是机器学习的目标。]]></description><category></category></item><item><title><![CDATA[GNN Algorithms(7): DDPM]]></title><link>https://blog.youkuaiyun.com/qq_33419476/article/details/139848908</link><guid>https://blog.youkuaiyun.com/qq_33419476/article/details/139848908</guid><author>qq_33419476</author><pubDate>Fri, 21 Jun 2024 15:17:24 +0800</pubDate><description><![CDATA[扩散模型 diffusion model：正向扩散过程 Forward Diffusion Process、反向生成过程 Reverse Generation Process.本质：DDPM, Denoising Diffusion Probabilistic ModelT steps 加噪：没有参数-> 生成一个符合正态分布的纯噪声图像xt，就是噪声noise。T steps 去噪：有参数-> 从噪声noise中恢复一个清晰、有意义的图像。]]></description><category></category></item><item><title><![CDATA[LLM Algorithms(1): Flash Attention]]></title><link>https://blog.youkuaiyun.com/qq_33419476/article/details/139564031</link><guid>https://blog.youkuaiyun.com/qq_33419476/article/details/139564031</guid><author>qq_33419476</author><pubDate>Sun, 09 Jun 2024 17:32:47 +0800</pubDate><description><![CDATA[Flash Attention 分而治之的思想。]]></description><category></category></item><item><title><![CDATA[机器学习之数学基础(六)～时间复杂度和空间复杂度]]></title><link>https://blog.youkuaiyun.com/qq_33419476/article/details/139417976</link><guid>https://blog.youkuaiyun.com/qq_33419476/article/details/139417976</guid><author>qq_33419476</author><pubDate>Mon, 03 Jun 2024 20:09:29 +0800</pubDate><description><![CDATA[核心-》高性能的代码 = 相应速度快的代码。需要初级程序员了解算法，灵活地运用算法。-》发明设计一款算法：要去推导证明算法的可行性。数据结构是为算法服务的，而算法又需要作用在特定的数据结构上。-》谁的算法快，谁的算法更优！！如果两种算法实现的速度差不多，那我们还可以去评价算法所占用的空间。时间复杂度：执行当前算法所消耗的时间。--》快空间复杂度：执行当前算法所消耗的内存空间。--》省。]]></description><category></category></item><item><title><![CDATA[机器学习之数学基础(五)：贝叶斯定理 Bayes Theorem]]></title><link>https://blog.youkuaiyun.com/qq_33419476/article/details/139379622</link><guid>https://blog.youkuaiyun.com/qq_33419476/article/details/139379622</guid><author>qq_33419476</author><pubDate>Sat, 01 Jun 2024 22:04:33 +0800</pubDate><description><![CDATA[因为是已发生事实事件Evidence，需要对所有样本进行测试，才能得到事实概率！，P(E)可以分为两部分，一部分是E和H的交集，另一部分是E和。事件A发生概率 * 事件A发生的条件下，B发生的概率。先写事件A发生概率，然后写乘以条件概率P(B|A)，事件B发生概率 * 事件B发生的条件下，A发生的概率。先写事件B发生概率，然后写乘以条件概率P(A|B)，随机事件：是指随机试验中可能发生或不发生的结果。P(E)一般是指后验概率，它的概率计算很复杂，从二概率公式推广到多概率贝叶斯公式。]]></description><category></category></item><item><title><![CDATA[C++编程基础(一)：Introduction]]></title><link>https://blog.youkuaiyun.com/qq_33419476/article/details/139310757</link><guid>https://blog.youkuaiyun.com/qq_33419476/article/details/139310757</guid><author>qq_33419476</author><pubDate>Thu, 30 May 2024 08:58:14 +0800</pubDate><description><![CDATA[C++是一种强类型、静态类型、支持多范式的编程语言，最初是由Bjarne Stroustrup在1979年开发的。]]></description><category></category></item><item><title><![CDATA[强化学习 model-01：CartPole]]></title><link>https://blog.youkuaiyun.com/qq_33419476/article/details/135615612</link><guid>https://blog.youkuaiyun.com/qq_33419476/article/details/135615612</guid><author>qq_33419476</author><pubDate>Tue, 16 Jan 2024 09:03:37 +0800</pubDate><description><![CDATA[强化学习是一种机器学习范式，其核心思想是通过agent与环境的交互，以达到实现某种目标的目的。在强化学习中，agent根据环境的反馈(reward or penalty)来调整其行为，以使得未来的预期奖励最大化。强化学习在许多领域中都有广泛的应用，如游戏、机器人控制、金融交易。]]></description><category></category></item><item><title><![CDATA[GNN PyG~torch_geometric 学习理解]]></title><link>https://blog.youkuaiyun.com/qq_33419476/article/details/133467260</link><guid>https://blog.youkuaiyun.com/qq_33419476/article/details/133467260</guid><author>qq_33419476</author><pubDate>Sun, 01 Oct 2023 19:45:43 +0800</pubDate><description><![CDATA[其中EdgeIndex(edge_index=tensor([[1, 2], [0, 0]]), e_id=tensor([10, 2]), size=(3, 1))是第一层采样得到的bipartite图， EdgeIndex(edge_index=tensor([[2, 3, 0, 3, 0, 4], [0, 0, 1, 1, 2, 2]]), e_id=tensor([2, 8, 6, 9, 4, 0]), size=(5, 3))是第二层采样得到的bipartite图。]]></description><category></category></item><item><title><![CDATA[GNN advanced knowledge]]></title><link>https://blog.youkuaiyun.com/qq_33419476/article/details/132791252</link><guid>https://blog.youkuaiyun.com/qq_33419476/article/details/132791252</guid><author>qq_33419476</author><pubDate>Sun, 10 Sep 2023 15:00:14 +0800</pubDate><description><![CDATA[目标时将BP loss value限定在20-40之间。，这都会导致model performance很差。在BP时陷入梯度消失或梯度爆炸。避免构建的GNN model。]]></description><category></category></item><item><title><![CDATA[GNN Code Tips]]></title><link>https://blog.youkuaiyun.com/qq_33419476/article/details/132125398</link><guid>https://blog.youkuaiyun.com/qq_33419476/article/details/132125398</guid><author>qq_33419476</author><pubDate>Sat, 05 Aug 2023 22:21:06 +0800</pubDate><description><![CDATA[【代码】GNN tips。]]></description><category></category></item><item><title><![CDATA[深入浅出PyTorch: pytorch教程]]></title><link>https://blog.youkuaiyun.com/qq_33419476/article/details/129553015</link><guid>https://blog.youkuaiyun.com/qq_33419476/article/details/129553015</guid><author>qq_33419476</author><pubDate>Wed, 15 Mar 2023 13:56:05 +0800</pubDate><description><![CDATA[Module类是torch.nn模块里提供的一个模型构造类(nn.Module)，是所有神经网络模块的基类，我们可以继承它来定义我们想要的模型pytorch模型定义应包括两个主要部分：各个部分的初始化(__init__)；数据流向定义(forward)基于nn.Module，我们可以通过SequentialModuleList和ModuleDict三种方式定义pytorch模型。]]></description><category></category></item><item><title><![CDATA[GNN algorithms(6): GraphCL]]></title><link>https://blog.youkuaiyun.com/qq_33419476/article/details/129499748</link><guid>https://blog.youkuaiyun.com/qq_33419476/article/details/129499748</guid><author>qq_33419476</author><pubDate>Mon, 13 Mar 2023 18:44:58 +0800</pubDate><description><![CDATA[图对比学习 GCL: GCL是一种针对图数据的自监督学习算法。--》对给定的大量无标签数据，图对比算法旨在训练出一个图编辑器，即GNN，用以得到图表示向量。]]></description><category></category></item><item><title><![CDATA[强化学习RL 05: Alpha Go、Alpha Zero]]></title><link>https://blog.youkuaiyun.com/qq_33419476/article/details/129267218</link><guid>https://blog.youkuaiyun.com/qq_33419476/article/details/129267218</guid><author>qq_33419476</author><pubDate>Tue, 28 Feb 2023 18:26:43 +0800</pubDate><description><![CDATA[problem：会对未见过的操作懵逼，然后break down。]]></description><category></category></item><item><title><![CDATA[强化学习RL 04: Actor-Critic Algorithm]]></title><link>https://blog.youkuaiyun.com/qq_33419476/article/details/129261930</link><guid>https://blog.youkuaiyun.com/qq_33419476/article/details/129261930</guid><author>qq_33419476</author><pubDate>Tue, 28 Feb 2023 15:00:34 +0800</pubDate><description><![CDATA[actor: 是policy network，通过生成动作概率分布，用来控制agent运动，类似“运动员”。critic: 是value network，用来给动作进行打分，类似“裁判”。]]></description><category></category></item></channel></rss>