<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[听雨草堂]]></title><description><![CDATA[随便谈谈]]></description><link>https://blog.youkuaiyun.com/lifehack</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; lifehack]]></copyright><item><title><![CDATA[DeepEvidence 架构与机制笔记]]></title><link>https://blog.youkuaiyun.com/lifehack/article/details/164057140</link><guid>https://blog.youkuaiyun.com/lifehack/article/details/164057140</guid><author>lifehack</author><pubDate>Tue, 25 Aug 2026 15:17:08 +0800</pubDate><description><![CDATA[本文介绍了DeepEvidence，一个面向生物医学领域的深度知识图谱研究多代理系统。该系统通过Orchestrator代理调度广度搜索(BFRS)和深度挖掘(DFRS)子代理，在异构生物医学知识图谱上进行结构化研究，并构建可追溯的证据图谱(Evidence Graph)来完成问题解答。系统架构包括用户交互层、代理调度层、知识检索层和统一API层，支持PubMed、基因、药物、疾病等17个生物医学数据源的并行检索。DeepEvidence在HLE-Medicine等基准测试中表现优于Biomni和纯文献搜索]]></description><category></category></item><item><title><![CDATA[TxGNN 架构深度拆解与 Zero-Shot 复现]]></title><link>https://blog.youkuaiyun.com/lifehack/article/details/163540387</link><guid>https://blog.youkuaiyun.com/lifehack/article/details/163540387</guid><author>lifehack</author><pubDate>Thu, 06 Aug 2026 17:31:23 +0800</pubDate><description><![CDATA[TxGNN是一种针对零样本疾病（Zero-Shot Disease）药物重定位的图神经网络模型。其核心创新点包括： 采用统一框架在PrimeKG知识图谱上同时预测药物适应症、禁忌症和超说明书用药； 架构设计采用2层异构图卷积网络(HeteroRGCN)结合疾病原型增强模块，通过度量学习提升零样本泛化能力； 两阶段训练策略：先全图预训练学习通用实体表示，再微调特定药-病关系； 支持事后多跳路径解释(GraphMask)。 实验表明，TxGNN在复杂疾病测试集上表现优异(适应症AUPRC 0.863±0.027]]></description><category></category></item><item><title><![CDATA[【NLP实战】命名实体识别NER]]></title><link>https://blog.youkuaiyun.com/lifehack/article/details/163539916</link><guid>https://blog.youkuaiyun.com/lifehack/article/details/163539916</guid><author>lifehack</author><pubDate>Thu, 06 Aug 2026 17:14:16 +0800</pubDate><description><![CDATA[命名实体识别（NER）是从文本中识别特定类别实体（如人名、地名等）的任务，主流方法采用序列标注技术。传统模型如HMM和CRF依赖特征工程，而深度学习方法如Bi-LSTM+CRF通过自动特征提取提升效果。基于BERT的模型（如BERT+CRF）进一步将F1值提升至93.2%，显著优于传统方法。实验表明，BERT在2万条标注数据下即可达到88%以上的F1值，展现了强大的性能优势。开源代码和详细实验结果可参考相关GitHub仓库。]]></description><category></category></item><item><title><![CDATA[Scala 学习笔记：从基础控制流到泛型变体]]></title><link>https://blog.youkuaiyun.com/lifehack/article/details/163495386</link><guid>https://blog.youkuaiyun.com/lifehack/article/details/163495386</guid><author>lifehack</author><pubDate>Wed, 05 Aug 2026 10:22:37 +0800</pubDate><description><![CDATA[本文总结了Scala编程中的核心知识点，包括控制结构与函数、数组与集合操作、映射与元组以及类设计与反编译。主要内容如下： 类型系统与控制结构：解析了Scala的类型层次结构（Any/Unit/Nothing）和控制流特性，包括for表达式推导和break的替代策略。 高效数组操作：比较了定长Array与变长ArrayBuffer的性能差异，展示了for/yield高效处理机制，并通过实测数据验证优化效果。 映射与元组：介绍了不可变与可变Map的使用方法，以及元组的访问规则。 面向对象与JVM视角：通过jav]]></description><category></category></item><item><title><![CDATA[Shell 即 SQL]]></title><link>https://blog.youkuaiyun.com/lifehack/article/details/162668094</link><guid>https://blog.youkuaiyun.com/lifehack/article/details/162668094</guid><author>lifehack</author><pubDate>Tue, 07 Jul 2026 16:22:48 +0800</pubDate><description><![CDATA[本文介绍如何利用Shell命令实现轻量级数据分析，类比SQL操作：awk对应SELECT列投影，grep实现WHERE条件过滤，sort完成ORDER BY排序，uniq结合sort实现GROUP BY分组统计，wc替代COUNT计数，head/tail模拟LIMIT分页。通过管道符|串联命令，将Shell转化为流式执行引擎，例如统计日志状态码TOP5：awk '{print $9}' access.log | sort | uniq -c | sort -nr | head -5。还涵盖UDF（字符串处理]]></description><category></category></item><item><title><![CDATA[基于转录逆转的药物重定向 GPS 模型]]></title><link>https://blog.youkuaiyun.com/lifehack/article/details/161932523</link><guid>https://blog.youkuaiyun.com/lifehack/article/details/161932523</guid><author>lifehack</author><pubDate>Fri, 12 Jun 2026 17:24:17 +0800</pubDate><description><![CDATA[GPS是一个基于分子结构预测基因表达扰动的开源平台，由三个模块组成：RCL（在LINCS扰动数据上训练抗噪MLP）、GPS4Drugs（预测新化合物的基因表达谱并进行逆转评分）、MolSearch（基于MCTS的分子优化）。平台使用Morgan指纹和Gene Ontology注释作为特征输入，将基因表达扰动离散为三分类标签。训练数据来自LINCS Phase I的18,746个化合物和978个landmark基因，支持四细胞系独立训练，可用于药物重定向与化合物筛选。]]></description><category></category></item><item><title><![CDATA[TxAgent 架构分析]]></title><link>https://blog.youkuaiyun.com/lifehack/article/details/161475485</link><guid>https://blog.youkuaiyun.com/lifehack/article/details/161475485</guid><author>lifehack</author><pubDate>Thu, 28 May 2026 09:37:13 +0800</pubDate><description><![CDATA[TxAgent是一个面向治疗推理任务的多步Agent框架，采用三层架构：用户层、Agent运行时层和外部依赖层。核心组件包括TxAgent主模型（基于Llama-3.1-8B微调）、ToolRAG（工具检索模型）和ToolUniverse（211+生物医学工具执行器）。系统通过ReAct式多步循环（Thought→Action→Observation）协同工作：LLM生成推理和工具调用指令，ToolRAG检索相关工具，ToolUniverse执行具体API调用。两个专用模型分别针对治疗推理（TxAgent-]]></description><category></category></item><item><title><![CDATA[大模型 OLMoE 消融实验]]></title><link>https://blog.youkuaiyun.com/lifehack/article/details/145116229</link><guid>https://blog.youkuaiyun.com/lifehack/article/details/145116229</guid><author>lifehack</author><pubDate>Mon, 13 Jan 2025 15:01:31 +0800</pubDate><description><![CDATA[OLMoE 是一个基于稀疏MoE 架构开源大语言模型。OLMoE-1B-7B 拥有7B 总参数，每次处理一个输入token 仅激活大约1B 参数，在5T token 大规模语料上进行预训练，后面进一步微调得到 OLMoE-1B-7B-INSTRUCT。OLMoE-1B-7B 在性能上超过了所有具有相似激活参数数量的大模型，甚至优于一些更大规模参数量的大模型，比如Llama2-13B-Chat 和 DeepSeekMoE-16B。MoE 架构可以在较小的计算成本下获得更优的性能表现。]]></description><category></category></item><item><title><![CDATA[细粒度生物医学多模态对比学习]]></title><link>https://blog.youkuaiyun.com/lifehack/article/details/144615771</link><guid>https://blog.youkuaiyun.com/lifehack/article/details/144615771</guid><author>lifehack</author><pubDate>Fri, 20 Dec 2024 17:24:44 +0800</pubDate><description><![CDATA[论文[1] 构建一个全新的生物医学多模态数据集 PMC-15M，其规模比现有的生物医学多模态数据集 MIMIC-CXR 大两个数量级，并涵盖了广泛类型的生物医学图像。PMC-15M包含来自440万篇科学文章中的1500万对生物医学图像-文本对。基于PMC-15M，论文[1] 预训练了BiomedCLIP，一个多模态基础模型，并针对生物医学视觉-语言处理进行了领域微调。]]></description><category></category></item><item><title><![CDATA[复合图标题拆分]]></title><link>https://blog.youkuaiyun.com/lifehack/article/details/143902632</link><guid>https://blog.youkuaiyun.com/lifehack/article/details/143902632</guid><author>lifehack</author><pubDate>Wed, 20 Nov 2024 09:42:43 +0800</pubDate><description><![CDATA[在学术论文、研究报告、教科书等领域，一张复合图通常由多个子图组成，每个子图都有其特定的内容和含义。复合图的标题（caption）通常包含各个子图的描述信息，因此拆分复合图标题有助于更好地理解和分析每个子图的内容。]]></description><category></category></item><item><title><![CDATA[多模态大模型 LLaVA]]></title><link>https://blog.youkuaiyun.com/lifehack/article/details/142464700</link><guid>https://blog.youkuaiyun.com/lifehack/article/details/142464700</guid><author>lifehack</author><pubDate>Mon, 23 Sep 2024 18:02:55 +0800</pubDate><description><![CDATA[人类通过诸如视觉和语言等多种渠道与世界进行互动的方式，每种渠道在表达和交流某些概念方面都有其独特的优势，这有助于更好地理解世界。人工智能的一个核心目标是开发一种通用助手，这种助手可以有效地跟随多模态（视觉和语言）指令，符合人类意图以完成各种真实环境中的任务。为达到这一目的，研究社区发展能够处理多模态指令的大规模语言模型。特别是在利用机器生成的指令跟随数据对大规模语言模型进行微调以改善其在新任务上的零样本能力方面，尽管这种方法在多模态领域探索较少，但已经被证明是有益的。]]></description><category></category></item><item><title><![CDATA[Llama 3.1 大模型指令微调提升中文能力]]></title><link>https://blog.youkuaiyun.com/lifehack/article/details/142171548</link><guid>https://blog.youkuaiyun.com/lifehack/article/details/142171548</guid><author>lifehack</author><pubDate>Thu, 12 Sep 2024 11:47:38 +0800</pubDate><description><![CDATA[Llama 3.1 是一个通用的大型语言模型，尽管它在多种语言上进行了训练，但在某些特定语言（如中文）上的表现可能不如专门针对该语言进行优化的模型。通过指令微调，可以提高模型在处理中文文本时的理解和生成能力。对于某些领域（如医疗、法律、科技等），可能存在大量的中文专业术语和特定表达。通过指令精调，可以让模型更好地理解和生成这些领域的中文内容。通用大模型Llama 3.1 在中文评测数据集C-Eval、CMMLU 上表现不佳，通过精调可以针对特定任务进行优化，提升模型在这些任务上的性能。]]></description><category></category></item><item><title><![CDATA[Pytorch 高效快速加载大规模数据集]]></title><link>https://blog.youkuaiyun.com/lifehack/article/details/140958039</link><guid>https://blog.youkuaiyun.com/lifehack/article/details/140958039</guid><author>lifehack</author><pubDate>Tue, 06 Aug 2024 15:52:22 +0800</pubDate><description><![CDATA[HDF5（Hierarchical Data Format version 5）是一种用于存储和管理大量数据的文件格式，支持高效的多维数组存储，支持多层级数据模型，能够存储复杂的科学数据。HDF5 通常以groups 和 datasets 的形式组织。")")0")]]></description><category></category></item><item><title><![CDATA[从头训练一个数学编程大模型]]></title><link>https://blog.youkuaiyun.com/lifehack/article/details/140463112</link><guid>https://blog.youkuaiyun.com/lifehack/article/details/140463112</guid><author>lifehack</author><pubDate>Tue, 16 Jul 2024 12:23:01 +0800</pubDate><description><![CDATA[前段时间基于OLMO 框架利用8张卡从头训练一个1B 大模型，以本文做一个简单的工作总结。SFT 微调采用LLaMA-Factory，评测使用OpenCompass。大模型MathCode 面向的任务：能写代码，能做简单的数学题。]]></description><category></category></item><item><title><![CDATA[【大模型】预训练语料质量筛选]]></title><link>https://blog.youkuaiyun.com/lifehack/article/details/140106675</link><guid>https://blog.youkuaiyun.com/lifehack/article/details/140106675</guid><author>lifehack</author><pubDate>Mon, 01 Jul 2024 17:47:41 +0800</pubDate><description><![CDATA[在大型语言模型（LLM）的开发过程中，预训练数据的规模和质量对塑造LLM的能力起着至关重要的作用。语言模型的数据集迅速扩大，其中最重要的是Common Crawl （CC) 数据集，包含近1T 个词。这样规模的数据集足以训练最大的模型。然而，未经筛选或轻度筛选的CC 数据集质量往往比经过精心构建的数据集要低。]]></description><category></category></item><item><title><![CDATA[大语言模型（一）OLMo]]></title><link>https://blog.youkuaiyun.com/lifehack/article/details/139329628</link><guid>https://blog.youkuaiyun.com/lifehack/article/details/139329628</guid><author>lifehack</author><pubDate>Thu, 30 May 2024 19:28:23 +0800</pubDate><description><![CDATA[OLMo 是由AI2 发布的大语言模型以及构建框架，与大多数之前的尝试只发布模型权重和推理代码不同，OLMo 开源了整个框架，包括训练数据、训练代码以及模型评估代码。OLMo框架包括构建和研究语言模型所需的工具和资源。对于训练和建模，它包括完整的模型权重、训练代码、训练日志、消融实验、以Weights & Biases日志形式的训练指标，以及推理代码。这次发布包括我们的语言模型在7B规模上的四个变体，对应不同的架构、优化器和训练硬件，以及一个1B规模的模型，所有模型都至少训练了2T token。]]></description><category></category></item><item><title><![CDATA[【全同态加密神经网络】（二） HEAR]]></title><link>https://blog.youkuaiyun.com/lifehack/article/details/137555008</link><guid>https://blog.youkuaiyun.com/lifehack/article/details/137555008</guid><author>lifehack</author><pubDate>Tue, 09 Apr 2024 15:42:25 +0800</pubDate><description><![CDATA[论文[1] 提出了一种支持全同态加密的卷积神经网络架构，该架构为低深度电路和低阶激活函数专门设计。基于该框架，论文提出了HEAR（Homomorphically Encrypted Action Recognition）模型，具备可扩展且低延迟的特点，可以作为云外包任务进行安全的CNN 模型推理，并且不会牺牲推理的准确性。此外，论文还提出了同态卷积操作的数学公式，并提出了一种有效的评估策略，以在单指令多数据（SIMD）的方式下利用打包密文的并行计算。我们使用密文打包技术，在整个评估过程中将层的多个节点表示为]]></description><category></category></item><item><title><![CDATA[【全同态加密神经网络】（一） LoLa]]></title><link>https://blog.youkuaiyun.com/lifehack/article/details/137080183</link><guid>https://blog.youkuaiyun.com/lifehack/article/details/137080183</guid><author>lifehack</author><pubDate>Wed, 27 Mar 2024 15:56:58 +0800</pubDate><description><![CDATA[LoLa在处理CIFAR-10 数据集时，用到了3层卷积，具体模型结构请参看原论文[1]。以下关于的LoLa源码分析参考HEAR，与原论文[1] 中的模型结构有所不同。return out。]]></description><category></category></item><item><title><![CDATA[【后量子密码】CRYSTALS-KYBER 算法（二）：密钥封装 KEM（附源码分析）]]></title><link>https://blog.youkuaiyun.com/lifehack/article/details/132712963</link><guid>https://blog.youkuaiyun.com/lifehack/article/details/132712963</guid><author>lifehack</author><pubDate>Wed, 06 Sep 2023 12:58:39 +0800</pubDate><description><![CDATA[Kyber 算法是一种满足 IND-CCA2 安全的密钥封装机制（key-encapsulation mechanism，KEM），其安全性依赖于MLWE 问题的困难性。Kyber 算法构建采用了两阶段的方法：首先引入了一种IND-CPA 安全的公钥加密方案，用于加密长度为32字节的消息，称之为；然后使用改进的 Fujisaki-Okamoto（FO）变换来构建满足 IND-CCA2 安全KEM，称之为。]]></description><category></category></item><item><title><![CDATA[【后量子密码】CRYSTALS-KYBER 算法（一）：MLWE 问题与NTT（附源码分析）]]></title><link>https://blog.youkuaiyun.com/lifehack/article/details/132669792</link><guid>https://blog.youkuaiyun.com/lifehack/article/details/132669792</guid><author>lifehack</author><pubDate>Mon, 04 Sep 2023 17:50:26 +0800</pubDate><description><![CDATA[大多数基于数论的密码学，如Diffie-Hellman协议和RSA加密系统，依赖于大整数因子分解或特定群的离散对数等困难问题。然而，Shor 在1997年给出了对所有这些问题的高效量子算法，这将使得基于数论的密码系统在未来量子计算机时代变得不安全。相比之下，目前对于格密码背后的困难问题，尚未有任何有效的量子攻击算法。Kyber是格密码的一种，其设计是Ring-LWE LPR加密方案的模格（module lattice）变种，并结合了位丢弃(bit-dropping)技术。]]></description><category></category></item></channel></rss>