Miss稠怅-优快云博客

原创 Mitigating Boundary Ambiguity and Inherent Bias for Text Classification in the Era of Large Language

问题所在：边间模型性，不考虑内容，而只是单独给出结论。模糊的决策边界（Ambiguous Decision Boundary）问题描述：在分类任务中，当选项数量较多（例如多达77个）时，许多选项的语义可能非常相似，模型难以区分彼此。固有偏差（Inherent Bias）问题描述：模型可能在文本分类任务中对某些词汇或选项位置表现出偏好，从而影响预测结果。解决方法本文贡献我们的工作提供了广泛的实证分析（涵盖11种LLMs），探索了LLMs在文本分类任务中对选项数量和排列的脆弱性。

2025-01-01 20:34:47 784

原创 LLMEmbed: Rethinking Lightweight LLM’s Genuine Function in Text Classification

随着大型语言模型（LLMs）的迅猛发展，提示学习（prompt-learning）已成为一种备受关注的方法，在多个研究领域得到了广泛研究。最近，基于提示学习的许多尝试被用来提高文本分类的性能。然而，这些方法大多基于启发式的“链式思考”（Chain-of-Thought, CoT），往往更复杂但效率较低。本文重新思考了基于LLM的文本分类方法论，提出了一种简单而有效的迁移学习策略，称为LLMEmbed，以解决这一经典但具有挑战性的任务。

2024-12-31 15:50:59 815

原创 Pushing The Limit of LLM Capacity for Text Classification

由于大规模语言模型（LLMs）在众多下游自然语言处理（NLP）任务中展现出的卓越效果，文本分类领域的未来研究价值面临着挑战和不确定性。在这个开放式语言建模的时代，任务边界逐渐模糊，随之而来的是一个紧迫的问题：我们是否已经在充分利用LLMs的优势方面取得了文本分类的重大进展？为了回答这个问题，我们提出了RGPT，一个适应性增强框架，旨在通过反复集成一组强大的基础学习器来生成一个专门的文本分类LLM。这些基础学习器通过适应性调整训练样本的分布，并使用这些样本迭代微调LLMs来构建。

2024-12-30 20:12:09 694

原创 Chain-of-Thought Prompting Elicits Reasoning in Large Language Models

我们探讨了生成链式思维（即一系列中间推理步骤）如何显著提升大型语言模型进行复杂推理的能力。特别地，我们展示了这种推理能力如何通过一种称为链式思维提示的简单方法在足够大的语言模型中自然而然地出现，该方法在提示中提供了几个链式思维示例作为参照。对三种大型语言模型的实验表明，链式思维提示在一系列算术、常识和符号推理任务上的表现都有所提升。这些实证结果相当显著。

2024-11-23 13:02:58 827

原创 Active Prompting with Chain-of-Thought for Large Language Models

随着大型语言模型（LLM）规模的不断扩大，它们在许多需要推理的复杂任务（如算术和常识推理）中展现出新的能力。已知，任务特定的提示设计对于提升LLM生成高质量答案的能力至关重要。尤其是在复杂的问答任务中，一种有效的方法是基于示例的链式思维（Chain-of-Thought, CoT）推理，这显著提升了LLM的表现。然而，目前的CoT方法依赖于一组固定的人工标注示例，这些示例并不一定是适用于不同任务的最佳示例。

2024-11-16 19:20:04 1085

原创 AUTOMATIC CHAIN OF THOUGHT PROMPTING IN LARGE LANGUAGE MODELS大型语言模型中的自动推理链提示

大型语言模型（LLMs）可以通过生成中间推理步骤来执行复杂的推理任务。提供这些步骤作为提示示范被称为推理链（Chain-of-Thought，CoT）提示。CoT提示有两种主要的方式。其一使用简单的提示语，如“让我们一步一步思考”，在回答问题之前帮助模型进行逐步思考。另一种方式是通过手工逐个提供示范每个示范都包含一个问题和一个推理链，推理链引导模型得出答案。第二种方法的优越性在于需要逐个手工设计任务特定的示范。

2024-11-10 23:39:37 979

原创 LORA: LOW-RANK ADAPTATION OF LARGE LAN- GUAGE MODELS

研究问题：许多自然语言处理的应用依赖于将一个大规模的预训练语言模型适应于多个下游应用。这种适应通常通过微调实现，即更新预训练模型的所有参数。微调的主要缺点是新模型的参数数量与原始模型相同。随着越来越大的模型每隔几个月就被训练出来，这对GPT-2或RoBERTa大模型来说，仅仅是一个“麻烦”，但对具有1750亿可训练参数的GPT-3来说，这成为了一个关键的部署挑战。以前的做法：为了缓解这一问题，许多研究者试图仅适应部分参数或为新任务学习外部模块。

2024-11-02 15:52:29 546

原创 Tree of Thoughts: Deliberate Problem Solving with Large Language Models《思维树：与大型语言模型的深思熟虑问题解决》

语言模型越来越多地用于解决各种任务中的一般问题，但在推理过程中仍然局限于按符号级别、从左到右的决策过程。这意味着它们在需要探索、战略性前瞻或初始决策至关重要的任务中可能表现不佳。为了解决这些挑战，我们引入了一种新的语言模型推理框架——“思维树”（Tree of Thoughts，ToT），该框架对流行的“思维链”提示方法进行了推广，并允许在连贯的文本单元（“思维”）上进行探索，这些单元作为解决问题的中间步骤。

2024-10-24 22:10:16 772

原创儿童口语词汇获得年龄效应

获得年龄是指儿童第一次学会某个词的年龄。单词获得年龄效应是指早获得的词比晚获得的词加工快。该文简要概述了获得年龄数据的收集以及获得年龄在成人词典加工中的作用，重点介绍了获得年龄效应与频率效应的关系的研究，并对获得年龄效应的机制进行了简要的评述。

2024-10-21 08:36:26 759

原创 Iteration of Thought: Leveraging Inner Dialogue for Autonomous Large Language Model Reasoning思想的迭代

Iterative human engagement（迭代式人机互动）：通过持续的反馈和互动，逐步改善人机协作的过程。在这种模式中，人类与系统之间进行多轮对话或交流，模型根据用户的反馈不断调整和优化其响应。这样可以更好地满足用户需求，提高系统的准确性和效率。：旨在通过针对输入查询和LLM当前响应的迭代生成“引发思考”的提示，从而增强LLM的响应，，IoT根据不断演变的上下文动态调整其推理路径，而无需生成最终被丢弃的替代性探索性思路。三个组件。

2024-10-20 21:43:33 1082

原创 Chain-of-Thought Prompting Elicits Reasoning in Large Language Models 大语言模型中的思维链启发式推理

我们探索如何产生一个思维链-一系列的中间推理步骤-显著地提高大型语言模型执行复杂推理的能力。特别地，我们展示了这种推理能力是如何在足够大的语言模型中通过一种称为思维链提示的简单方法自然出现的，其中提供了一些思维链示范作为提示中的范例。在三个大型语言模型上的实验表明，思维链提示提高了一系列算术、常识和符号推理任务的性能。实证的收益可能是惊人的。例如，在数学单词问题的GSM 8 K基准测试中，仅用8个思维链样本提示PaLM 540 B就达到了最先进的准确性，甚至超过了带有验证器的微调GPT-3。

2024-09-28 15:05:54 140

原创 Windows|Linux JDK安装与环境变量配置

Windows|Linux JDK安装与环境变量配置JDK简介JDK(Java Development Kit) 是针对Java开发员的产品，是整个Java的核心，包括了Java运行环境JRE（JVM和JAVA系统库类）、Java工具（如编译器和调试器）JRE(Java Runtime Environment)：是运行基于Java语言编写的程序不可缺少的运行环境。也是通过他，Java的开发者得以将自己开发的程序发布到用户手中，让用户使用。JRE中包含了JVM（Java Virtual Machine

2021-02-26 18:32:48 225 1

aikun315的博客