HERODING77-优快云博客

原创通用信息抽取数据集Viscacha-Chinese-IE——NER数据集篇

最近在做和大模型通用抽取相关的任务，需要将所有数据集转换为相同的格式，便于构建指令微调数据集。在处理数据时需要将不同格式的NER数据集转换为方便处理的json格式数据，这是一项非常繁杂的工作。在NER领域，没有一个统一的格式规范，博主收集了近30份NER数据集，总结出常见的NER数据集格式包括BIO、BIEO、excel格式的BIO、数据标签分离、内嵌式json等，每种格式可能只有两三个数据集，如果单独为其进行编码需要耗费不少精力，拖慢工作进度。

2023-07-08 14:16:38 1268 2

原创【联邦学习实战】基于同态加密和差分隐私混合加密机制的FedAvg

联邦学习实战——基于同态加密和差分隐私混合加密机制的FedAvg前言前言好久都没更新联邦学习相关内容了，这也是我更新这篇我认为非常硬核的文章的原因，这也算是实现了我在学习联邦学习半年以来的一个目标，基于混合加密机制实现联邦学习任务，这次任务使用的框架是FedAvg，在github上非常热门的联邦学习模拟实现方案，FedAvg的代码还是非常好理解的，本文的结构将主要分为三个部分，第一部分是对FedAvg代码的讲解和修改，第二部分将差分隐私机制加入到FedAvg中，包括高斯机制和拉普拉斯机制，第三部分将同态

2022-06-13 08:00:00 16041 203

原创【学习笔记】网络安全基础知识总结

网络安全基础知识总结前言一、网络安全概述1.1 引言1.2 密码学的发展1.3 密码学基础1.4 对称密码1.4.1 数据加密标准DES二、数论知识2.1 数论基础2.2 有限域2.2.1 群2.2.2 环2.2.3 域2.3 数论入门2.3.1 素数2.3.2 费马定理2.3.3 欧拉定理2.3.4 中国剩余定理三、网络安全进阶3.1 多重加密3.1.1 双重DES3.1.2 三重DES3.1.3 AES3.2 分组密码的工作模式3.2.1 电子密码本模式（ECB）3.2.2 密文分组链接模式（CBC）3

2022-03-06 09:42:52 7825 2

原创【学习笔记】Ubuntu双系统+搭建个人服务器

Ubuntu双系统+搭建个人服务器前言1. Ubuntu+Win双系统1.1 制作U盘启动盘1.2 系统分盘1.3 安装Ubuntu系统2. 搭建个人服务器2.1 设置root2.2 配置ssh2.3 向日葵连接3. 内网穿透3.1 实现流程3. 总结前言前段时间整了一套主机，3060ti+intel 11600F，终于不用在轻薄本上跑机器学习代码了，也不用因为服务器价格昂贵而发愁了。但是这些仅限在家中使用，一旦外出或者返校，这套主机就在家里吃灰吧，想想一年在家不超过100天时间，买来实在是性价比不高，

2022-01-27 17:59:09 6370 5

原创【论文通读】Corex: Pushing the Boundaries of Complex Reasoning through Multi-Model Collaboration

一篇来自COLM的多智能体协作研究，定义了三种解推理问题的模式（Discuss、Review 和 Retrieve），有效提升了推理的准确性、事实性（Factuality）和忠实性（Faithfulness）。该研究为多智能体协作在解决下游任务中的应用提供了一个全新的范式。

2025-01-14 16:24:58 768

原创【论文通读】OS-Genesis: Automating GUI Agent Trajectory Construction via Reverse Task Synthesis

高质量轨迹数据的缺乏是训练GUI智能体的瓶颈，而人工标注既费时又费力，合成的轨迹数据质量较低。为突破这一瓶颈，本提出了创新的‘交互驱动’方法，有效合成高质量的GUI轨迹数据，从而为GUI智能体的发展提供了有力支持。PaperHomePage当前，基于视觉语言模型（VLMs）的GUI代理面临缺乏高质量操作轨迹的瓶颈。常规的数据采集方法，如人工标注或根据预定义任务合成数据，往往需要大量的资源，且难以保证数据质量，同时还面临数据多样性不足和与真实场景差距较大的问题。

2025-01-06 09:56:42 1054 1

原创【论文通读】MMToM-QA: Multimodal Theory of Mind Question Answering

来自ACL 2024 Outstanding Paper的工作，作者从人类认知的角度出发，加入很多ToM理论以及当前AI4ToM的现状，让整篇故事在逻辑清晰的同时又充满理论，是一篇很值得学习的工作。PaperFromToM（心智理论）作为理解人类心理状态的能力，是开发具有人类能力机器人的重要组成部分。最近的LLM展现出部分ToM的理解能力。但是现有的ToM benchmark只针对单一的模态，但是人类水平的ToM应该可以从任何数据中提取表征来推测他人的想法。

2024-12-17 20:38:32 938 2

原创【论文通读】OS-ATLAS: A FOUNDATION ACTION MODEL FOR GENERALIST GUI AGENTS

一篇ICLR 2025的高分工作，面向GUI场景的基座模型的研究。通过作者的观测以及相应的方法的应用，得到了领域内的SOTA模型，证实了作者的猜想。这是GUI Agent领域的一篇开拓性的工作，证明了action和grounding是可以统一的，这也为未来在grounding基础上收集大量轨迹数据做action和planning的工作打下了坚实的基础。PapergithubHomePage现有构建GUI智能体的工作严重依赖商业VLMs的能力，因为开源VLM性能明显滞后，特别在GUI场景。

2024-12-08 01:11:21 1207

原创【论文通读】Cross-model Control: Improving Multiple Large Language Models in One-time Training

一个很有想法的工作，直面当前低资源场景下微调迁移的困难及挑战，并采用一个小模型引导大模型的方式来实现跨模型的知识迁移。该工作中稿于NeurIPS 2024，并且获得了评审的一致好评。PaperCodeFromLLMs之间知识的复用是一个挑战。本文提出CMC，采用一个轻量语言模型在一次训练中改进多个LLM。作者观察到微调前后不同模型的logit的偏移相似。基于此，作者整合了一个轻量级LLM，通过与冻结LLM一起训练，获得改变LLM输出的logits的能力。

2024-11-04 18:39:04 1077 5

原创【论文通读】Qwen2-VL: Enhancing Vision-Language Model‘s Perception of the World at Any Resolution

当前多模态大模型的天花板，Qwen2-VL无论是通用的多模态能力还是多语言、Agent的能力，在开源模型中都是一骑绝尘的，甚至可以和商业模型如GPT-4o掰掰手腕。Qwen2-VL是经过沉淀的工作，它不只是扩数据那么简单，在很多实现细节上都进行了改进，是非常值得学习的工作。PaperCodeQwen2-VL重新定义了视觉处理中传统的预定分辨率的方法。它提出了新颖的动态分辨率机制，集成了M-RoPE（多模态旋转位置编码），并采用了统一的范式来处理图像和视频，增强模型的视觉感知能力。

2024-10-29 15:58:23 1107

原创 How Far Are We to GPT-4V: Closing the Gap to Commercial Multimodal Models with Open-Source Suites

InternVL系列梦开始的地方，奠定了InternVL在开源MLLMs中第一梯队的基础，其实方法简单粗暴，但是背后的数据集处理，模型训练这些dirty work，文章是永远体现不出来的，我想这也是InternVL能够中稿CVPR的关键原因吧。PaperCodeFromCVPR 2024本文提出InternVL 1.5，一个开源的MLLM用于减小与商业闭源多模态大模型的差距。更强的vision decoder。动态高分辨率。高质量中英文数据。

2024-10-16 16:07:27 767

原创【论文精读】RELIEF: Reinforcement Learning Empowered Graph Feature Prompt Tuning

一篇图prompt的前沿工作，利用强化学习的方法来探索图中需要添加prompt的节点以及prompt的规模，实现了对必要节点添加轻量prompt的过程，在多个下游任务上取得了SOTA的效果。文章思路清晰，逻辑严谨，深入浅出，实验丰富，是不可多得的值得深入学习的工作。PaperCode“pre-train, prompt”的范式最近在图表征领域展现了其泛化性和数据高效性。

2024-10-14 17:21:00 1208

原创【论文通读】Navigating the Digital World as Humans Do: UNIVERSAL VISUAL GROUNDING FOR GUI AGENTS

SeeAct团队的后续工作，旨在通过大规模Grounding数据对开源模型进行 continuous-training以提升MLLM的Grouding能力。文章思路清晰，方法简单，介绍了很多数据处理和训练的trick，实验结果也表明本文方法显著提升了MLLM的Grounding能力。UGround是一个大的突破，但是后续还是有很多值得改进并做下去的地方。PaperGithubHomepageMLLM正在改变GUI智能体的能力，使其从仿真场景过渡到跨平台现实的应用程序。

2024-10-09 13:35:56 1352

原创【论文通读】Diagnosing and Remedying Knowledge Deficiencies in LLMs via LaMer

一篇很有意思的工作，通过相对熵判断LLM在知识上的缺陷，从而合成新数据来修复模型的知识缺口。方法简单，效果不错，简洁易懂，虽然在应用场景上有很大的限制，但是也是给LLM的知识诊断与修复带来了新的思考方向。Paper大模型从大量无标注数据中学习，展现广泛的用途。然而大模型仍会面临推理错误和知识缺失的问题，影响其可靠性。虽然多样的query可以改善该问题，但是获得充分有效反馈是困难的。此外，受限于有限的标签，难以全面评估LLM，因此通过丰富的无标签查询来诊断和修复LLM 的缺陷成为一项挑战。

2024-09-27 16:11:46 1102

原创【论文通读】C-EVAL: A Multi-Level Multi-Discipline Chinese Evaluation Suite for Foundation Models

一篇关于评估大模型中文能力的benchmark工作，虽然从benchmark的设计角度来看没有额外的新意，但是从故事性和切入点来说都是一个非常不错的工作。此外，文末的Conclusion部分我还对benchmark的设计原则进行了讨论，感兴趣的朋友可以直接跳到文章最后部分查看。PaperCodeFromC-EVAL是第一个全面的中文benchmark用于评估LLMs在中文语境下的基础储备和推理能力。C-EVAL包含四个不同等级的多选问题：中学，高中，大学和职业。

2024-08-13 10:02:50 854

原创【论文通读】Automated Peer Reviewing in Paper SEA: Standardization, Evaluation, and Analysis

一篇关于长文本大语言模型应用的相关工作，面向于自动化论文评审领域。作者提出了一个新颖的自动化论文评审框架，解决了当前大语言模型无法为论文生成有全面有价值评审意见的同时，又为自动化论文评审领域定义了一个新的评估指标。该项目不仅在工作量上投入巨大，更在创新性和应用性方面达到了新的高度，为科研工作者提供了强有力的工具，显著提升了他们的工作质量。PaperHomePageCode当前，学术论文的激增对传统评审机制造成了严重的冲击，造成出版物质量不一。

2024-07-19 11:28:29 1357

原创【论文通读】RuleR: Improving LLM Controllability by Rule-based Data Recycling

一篇关于提升LLMs输出可控性的短文，对SFT数据以规则的方式进行增强，从而提升SFT数据的质量，进而间接帮助提升LLM的可控性。这种基于规则的方式确实可以去除人力和额外的LLM资源的开销，但是在某种程度上可能不能真正泛化到具体的数据上。PaperCodeLLMs缺乏稳定可控的输出，这对产品表现和用户体验不利。然而现有的用于提升LLMs可控性的SFT数据集经常依赖人类经验或者大模型，需要付出额外的成本。

2024-07-07 21:01:08 1111

原创【论文通读】A Survey of Neural Code Intelligence: Paradigms, Advances and Beyond

神经代码智能利用深度学习理解、生成和优化代码，连接自然语言和编程语言，近年吸引了大量关注。本篇综述回顾了50多个模型、20多类任务和680多项工作，追溯了从RNN到LLM的范式转变，系统梳理了模型、任务、评测和应用的发展历程，从解决特定场景扩展到应对复杂现实挑战。PaperGithub神经代码智能（Neural Code Intelligence，NCI）指的是采用深度学习技术以理解、生成及优化计算机代码，该技术正日益显示其在人工智能领域内的革命性影响。作为连接自然语言与编程语言。

2024-07-06 08:00:00 1138 2

原创【论文通读】GUICourse: From General Vision Language Model to Versatile GUI Agent

一篇关于构建提升GUI智能体能力的数据集的文章，文章提到的关于提升GUI能力的三个点听起来还是比较合理的，此外，数据集的数量非常丰富，比起一些benchmark只提供几百条数据显得很有诚意。总的来说是关于提升GUI智能体能力的一个比较有想法的工作。PaperGithubVLMs的进步得以帮助人类完成GUI任务，然而，现有的VLMs受到基础能力(OCR & grounding)以及GUI知识方面的挑战，这阻碍了它们成为实用的GUI智能体。

2024-07-05 00:22:06 987

原创【论文通读】GUI Action Narrator: Where and When Did That Action Take

一篇GUI操作benchmark的工作，作者提出了一个GUI benchmark以及一个提高MLLM GUI操作能力的框架，在一定程度了提高了开源和闭源MLLM的GUI的性能。文章出发点比较有趣，但是逻辑上有点不自洽，不过整个工作的方向确实是当前的主流，值得深入去思考。PaperHomePage多模态LLMs的出现为自动化GUI任务带来了可能。构建GUI自动化系统的一个基本方面是理解原始GUI操作，它可以让智能体学习人类的操作，因此至关重要。

2024-07-01 17:13:28 973

原创【论文通读】SeeClick: Harnessing GUI Grounding for Advanced Visual GUI Agents

一篇开创性的关于GUI智能体的工作，作者指出了当前GUI智能体面临的关键问题——GUI grounding能力不足，并基于此做了一系列工作，为提升GUI智能体性能指明了新的方向。Papergithub当前，GUI智能体与数字终端交互的方式通过提取的结构化信息，这些信息可能冗长或者无法访问。为此，本文提出SeeClick，只依赖于截图执行自动化任务。

2024-06-23 14:30:58 1338

原创【论文通读】VideoGUI: A Benchmark for GUI Automation from Instructional Videos

数字智能体的探索又来到了新的阶段，除了常见的桌面工具如PPT，Word，Excel，对于专业工具的使用是一个值得探索的领域，此外，专业工具往往对应着复杂的操作，面对几十上百操作的任务，当前的智能体能否根据query来给出相应的回答呢，本篇VideoGUI为这些问题指明了方向。Paperhomepage自动化GUI可以提高人类生产力，但是现有的工作只关注于简单的电脑任务。本文提出新的多模态benchmark VideoGUI，旨在评估以视觉为中心的GUI任务上的智能体。

2024-06-20 16:29:32 820

原创【论文通读】AgentStudio: A Toolkit for Building General Virtual Agents

来自昆仑万象的一篇智能体环境数据大一统框架工作，对未来计算机智能体的发展具有指导性意义，作者在环境上对计算机智能体的输入输出进行了统一，基于该环境又设计了智能体数据的收集评估框架，通过实验也验证了数据集收集的重要性。此外它还提供了丰富的文档，便于初学者学习。PaperDocumentFrom创造在任意数字设备上操作任意软件的自主虚拟智能体仍然是当前AI的主要挑战。关键的两点障碍在于：现实环境中构建虚拟智能体的基础设施不足，以及对基础智能体能力评估的需求。

2024-04-06 18:11:18 1312

原创【论文通读】AutoGen: Enabling Next-Gen LLM Applications via Multi-Agent Conversation

微软在智能体方面的又一重大工作，通过对话式多智能体协作的方式构建智能体系统，以解决各种应用场景下的问题。相对于文章本身，我更希望读者关注其在github上项目的工作，毕竟智能体的工作本质上都是工程化的内容，只有实际参与了项目本身你才能真正理解AutoGen的意义并感受其实用性。PaperCodeFromAutoGen是允许开发者通过多智能体的形式构建LLM应用的开原框架，这些智能体通过对话完成任务。AutoGen可定制化、可对话，并且可以在各种LLMs、用户输入和工具组合的模式下运行。

2024-03-30 23:40:45 2068

原创【论文通读】UFO：A UI-Focused Agent for Windows OS Interaction

Windows客户端第一个JARVIS，利用GPT4 Vision识别截图信息辅助智能体自动化执行操作，作为微软大肆宣传的一篇工作，其前瞻性还是值得学习的，只不过在实现上博主认为还有很大的改进空间，不过也算是Windows端AI助手的基石工作了。PaperCodeFrom本文提出UFO，一种新颖的以UI为中心的智能体，它利用GPT-Vision的功能满足针对Windows操作系统上的应用程序定制用户的请求。UFO采用双智能体框架来观察和分析Windows下应用的图像化界面和控制信息。

2024-03-29 17:19:12 1426

原创【论文精读】OS-Copilot: Towards Generalist Computer Agents with Self-Improvement

这是第一篇OS智能体框架工作，提出了操作系统上通用且能自我改进的AI助手FRIDAY，这与只能解决简单问题的AI助手Cortana相比有着本质的区别和显著的提升。其github仓库开放一周就收获了600+stars，受到了大量科研人员和科技企业的关注，在业界有着不俗的影响力。文章投稿于ICML 2024，为LLM智能体在OS领域的应用奠定了坚实的基础。PaperCodeFrom与计算机的自动交互一直是长期存在的挑战，最近LLM的发展加速了构建数字智能体的进展。

2024-02-23 18:20:38 2339 5

原创【论文精读】Segment Anything

被称为CV领域的GPT-3的工作，大一统了图像分割领域，实现了可提示及时分割，并且能够实现模糊感知，此外还构建了迄今最大的图像分割数据集，在1100万张授权的隐私图像上超过了10亿个mask。该工作中稿于ICCV 2023，其方法构建、实验设计以及写作格局都值得我们学习。PaperCodeFromICCV 2023本文提出SA项目，包含图像分割领域里新的任务、模型和数据集。作者构建了迄今最大的图像分割数据集，在1100万张授权的隐私图像上超过了10亿个mask。

2024-02-22 12:45:27 1750

原创【论文精读】A Survey on Large Language Model based Autonomous Agents

一篇来自人大高瓴的综述，详细介绍了基于LLM的智能体的发展和应用，以及对未来的预测。作为AI当前最火的领域，智能体上手容易，操作简单，本质上就是框架+prompt，但是其效果惊艳，能够完成很多LLM无法完成的简单任务，其在未来一定大有可为。PaperCodeFrom自主智能体一直都是学术界和工业界的重点研究焦点。先前的研究关注于具有有限知识的智能体在隔绝环境下的训练，这与人类学习方式大相径庭，因此很难像人类一样做决策。最近，LLMs通过获取的丰富web知识，在完成人类等级只能上展现出非凡的潜力。

2024-01-03 12:59:14 3054

原创【论文精读】GAIA: A Benchmark for General AI Assistants

一篇来自Meta、HuggingFace、AutoGPT联合投稿的Agent Benchmark的工作，为当前百花齐放的Agent领域带来了评测的标准。这篇工作详细介绍了GAIA的设计理念，展望了GAIA的未来，讨论了当前GAIA的不足，细读下来可以看到这些大佬们对于这个当前火热领域的热切期待。PaperCodeFrom本文提出GAIA，一个通用AI助手的benchmark。GAIA提出真实世界的问题，需要一系列基本能力，如推理，多模态处理，网页浏览和一般工具使用等。

2023-12-11 19:18:14 3349

原创【论文精读】REACT: SYNERGIZING REASONING AND ACTING IN LANGUAGE MODELS

一篇来自ICLR 2023的文章，可以称得上是当今火爆全网的Agent的鼻祖工作了，它提出了基于LLM初始的Agent的范式，在问答任务和决策任务上都取得了不错的结果，但是受限于LLM的能力，导致与人类的SOTA相距甚远。PaperCodeFromICLR 2023LLMs在语言理解和交互决策上表现出令人印象深刻的性能，其推理能力也作为了一个单独研究的主题。本文探索使用交互的方式生成推理任务特定动作，使二者具有更大的协同性。

2023-12-09 16:43:40 3974 1

原创【学习笔记】LLM for Education

一篇来自Nature的文章，探讨了教育行业的不同参与者，如何抓住LLM这个变革性的工具带来的机会，重新改造这项自人类文明诞生以来就存在的行业。文中提出了当前LLM所带来的机遇与挑战，以及讨论了未来教育领域该何去何从。PaperFromNatureLLM对教育领域的冲击已经势不可挡，必然会改变教育领域的发展走势，与其闭关锁国，不如学会拥抱，勇于面对LLM对教育领域的挑战，充分挖掘LLM的潜能和优势，才是现如今教育领域面对LLM冲击下的必要措施。

2023-12-07 15:46:40 1538

原创【论文精读】CAMEL: Communicative Agents for “Mind” Exploration of Large Language Model Society

一篇利用LLM通过多智能体对话的形式完成特定任务的工作，中稿于NeurIPS 2023，它最大的特色在于设计了丰富的规范约束prompt，只需要很少的人工干预，就可以让多智能体自动完成任务。PaperCodeFrom随着对话式语言模型的迅速发展，在复杂任务的解决上取得了显著的进展。然而，这些成功依赖于人类的输入来指引对话，这既具有挑战性又耗时。本文探讨了构建可扩展技术以促进沟通式智能体之间自主合作的潜力，并深入了解其认知的过程。为了解决自主合作的挑战，本文提出了一种名为角色扮演的新型沟通式智能体框架。

2023-12-01 18:12:25 2098 1

原创【论文精读】HuggingGPT: Solving AI Tasks with ChatGPT and its Friends in Hugging Face

又是一篇利用LLM进行规划的工作，中稿于NeurIPS 2023，它充分结合了专家模型解决特定任务的能力和LLMs的理解推理能力，工作新颖但效果一般，可以说提供了一种新的利用LLM解决通用任务的范式，在思想上值得借鉴。解决具有不同领域和模态的复杂人工智能任务是迈向通用人工智能的关键，虽然现在有大量可以用的AI模型面向不同领域和模态，但是它们不能解决复杂的AI任务。LLM在自然语言任务上有出色的表现，因此作者主张LLMs充当控制者来管理当前现有的AI模型，用于处理AI任务，自然语言则成为实现该目标的通用接口。

2023-11-23 11:57:16 1664

原创【论文精读】VOYAGER: An Open-Ended Embodied Agent with Large Language Models

一篇AI-Agent的文章，论文一出即火遍全网，用大语言模型玩Minecraft，在这之前想都不敢想。文章中所有的工作基本上都是基于prompt实现的，这也进一步说明了GPT-4丰富的知识储备和强大的理解能力。作者从人学习的角度出发，让LLM也遵循人学习的范式，一步步在未知的世界中进行探索，这样的工作思路对探索当前大语言模型的能力来说可谓至关重要。PaperCodeFromarXiv本文提出VOYAGER，这是在Minecraft中第一个由LLM驱动的终身学习智能体，用于持续探索这个世界。

2023-11-15 18:53:45 2013

原创【学习笔记】Understanding LSTM Networks

最近在整理LSTM相关的工作，看到了一篇非常经典的博客，遂沿着该博客的思路过了一遍LSTM，收获颇丰，故写下此篇笔记以帮助NLP初学者理解LSTM这个经典的模型，当然要想深入学习，还是看英文原版博客更合适。

2023-11-12 20:39:27 744

原创【论文精读】THOUGHT PROPAGATION: AN ANALOGICAL APPROACH TO COMPLEX REASONING WITH LARGE LANGUAGE MODELS

一篇来自中科院自动化所和耶鲁大学的文章，将prompt方法又卷到一个新的高度，文章提出的思维传播已经从一种方法上升到思想的境界，在任何需要使用LLM进行复杂推理任务的场景都能够大放异彩，是一篇特别fancy的文章。PaperCode无FromarXiv随着prompt技术的发展，大模型在推理任务上取得显著成功。然而现有的prompt方法无法重用解决相似问题的思路，并且在推理过程中会累积错误。为了解决这个问题，作者提出了思维传播（TP），它可以利用相似问题的解决方案来增强LLMs的复杂推理能力。

2023-10-23 00:02:33 707

原创【论文精读】Robust Speech Recognition via Large-Scale Weak Supervision

语音领域的又一力作，来自OpenAI团队，中稿于ICML 2023。本篇文章剑走偏锋，不同于当前火热的自监督预训练，而是采用大规模的弱监督预训练，特别适用于语音场景，这也为启发了广大的AI科研人员，做研究不能一股脑蹭热度，而是要根据特定的场景对症下药。PaperCodeFromICML 2023本文探索了语音处理系统通过简单训练从而处理互联网大量音频转录的能力。作者在68万小时的多语言多任务的数据上进行预训练，得到的模型无需微调就可以和完全监督相竞争，接近人类的性能。

2023-10-16 10:51:37 1636

原创【论文精读】Chain-of-Thought Prompting Elicits Reasoning in Large Language Models

本文是CoT的开山之作，来自于Google，中稿于NeurIPS 2022。CoT是一种简单高效的大模型prompt，旨在激发大模型的推理能力，是当前热门的方向之一，很多prompt的工作都开始转向CoT。本文思路清晰，方法简单，通俗易懂，并且实验巧妙，是一篇特别值得精读的文章。PaperCodeFrom本文提出思维链，即一系列中间推理步骤，用于提升大语言模型的复杂推理能力。该方法高效简单，又被称为chain-of-thought prompting。

2023-10-10 11:37:25 6410 1

原创【研究的艺术】通读《The Craft of Research》

本篇博客是《The Craft of Research》的通读笔记，其目的是帮助读者进行很好的论文写作，对我而言也是收获颇丰，本篇博客是跟着李沐老师的B站视频进行总结的，之后更为详细的《The Craft of Research》精读内容我会慢慢更新，李沐老师有新的视频的话我也会继续更新本篇博客。

2023-10-08 21:23:36 644

原创【学习笔记】大模型并行化方法

最近跟着李沐老师的视频学习了深度学习分布式系统的发展。这里说是分布式系统，其实还是有点勉强，准确来说是分布式的框架，但是毕竟是系统的文章，基于提出的框架也做了很多系统上的优化，姑且算是分布式系统吧。深度学习近些年随着Transformer模型的流行，呈现出模型越来越大，层数越来越深的趋势，然而在硬件方面，由于成本和技术的限制，难以匹配模型容量的快速发展，比如现有最新的深度学习专业加速器H100，其在容量上也只有80G，连LLaMA 7B都训不起来，因此单机多卡或者多机多卡已经成为模型训练主流的硬件配置。

2023-09-29 00:09:30 1326 1

大连理工大学数据库上机-大学模式数据库.docx

联邦学习框架fate上传数据出现failed to execute federated task问题怎么解决?

FATE1.7.0运行用例代码出错，如何解决？