在线教程 | 1 分钟生成万字悬疑小说,LongWriter-glm4-9b 突破长文输出瓶颈

解锁大模型长文本生成:LongWriter技术原理、部署与微调实战 在自然语言处理领域,大语言模型(LLM)的上下文理解能力已显著提升,但长文本生成仍是技术难点,常面临注意力漂移、逻辑混乱等问题。其核心原理在于Transformer架构的自回归生成机制与训练数据分布不匹配,导致模型缺乏生成长篇连贯内容的能力。为解决此问题,业界提出了针对性的指令微调方案,通过构造超长输出训练数据,重塑模型的生成行为,使其从短对话模式转向长文创作。这一技术对于自动化内容生成、技术文档撰写、长篇报告分析等场景具有重要价值。LongWriter项目正是基于此思路,通过LongWriter-6k数据 阅读详情

近年来,大语言模型 (LLM) 在理解和生成复杂文本时展现出强大的能力,能够处理高达 100,000 个 tokens 的输入,但在生成超过 2,000 词的连贯输出时,往往会遇到困难。

主要的原因之一是因为 SFT(监督式微调)数据集长输出样本的稀缺性。 研究表明,模型的最大输出长度与其在 SFT 阶段接触的样本长度有显著的正相关性。换句话说,尽管模型已经学会了如何理解和处理长文本,但它们还没有充分学习如何生成同样长度的文本。

为了解决这一问题,清华大学联合智谱 AI 基于 AgentWrite 技术构建了名为 LongWriter-6k 的数据集,包含 6,000 个 SFT 数据样本,输出长度从 2k 到 32k 个单词不等。该数据集目前已上线至 HyperAI超神经官网数据集版块,支持一键 input。

数据集地址:

https://go.hyper.ai/77byR

随后,该研究团队还利用 LongWriter-6k,基于 GLM-4-9B 进行训练,得到了一个能够生成超过 10,000 字连贯文本的模型 LongWriter-glm4-9b,显著扩展了大型语言模型的输出潜力,在文学创作、新闻报道等实际应用中表现出极大的广泛性。

目前,「一键部署 LongWriter-glm4-9b」已上线至 HyperAI超神经教程版块, 一键克隆即可开启对话。

教程地址:

https://go.hyper.ai/p6SiO

Demo 运行

  1. 登录 hyper.ai,在「教程」页面,搜索「一键部署 LongWriter-glm4-9b」,点击「在线运行此教程」。

在这里插入图片描述

在这里插入图片描述

  1. 页面跳转后,点击右上角「克隆」,将该教程克隆至自己的容器中。

在这里插入图片描述

  1. 点击右下角「下一步:选择算力」。

在这里插入图片描述

  1. 页面跳转后,选择「NVIDIA RTX 4090」以及 「PyTorch」镜像,点击「下一步:审核」。新用户使用下方邀请链接注册,可获得 4 小时 RTX 4090 + 5 小时 CPU 的免费时长!

HyperAI超神经专属邀请链接(直接复制到浏览器打开):

https://openbayes.com/console/signup?r=6bJ0ljLFsFh_Vvej

在这里插入图片描述

  1. 确认无误后,点击「继续执行」,等待分配资源,首次克隆需等待 2 分钟左右的时间。当状态变为「运行中」后,点击「API 地址」边上的跳转箭头,即可跳转至 Demo 页面。请注意,用户需在实名认证后才能使用 API 地址访问功能。

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

效果预览

  1. 打开 Demo 界面,我们让它生成一个 10,000 字的悬疑小说。

在这里插入图片描述

  1. 可以看到它迅速输出了一个长篇悬疑小说。

在这里插入图片描述

LongWriter 大模型超长输出使用案例 参考:大概是通过agent方式区分步骤实现。 阅读详情

相关推荐

一文搞懂深度学习:最全神经网络介绍

本文是深度学习系列文章的第二篇,我们将深入探讨各种类型的人工神经网络,探索它们独特的特性和应用。

2402_82802238的博客 2803

探索 LongWriter:突破长文本10000+字生成的语言模型

在自然语言处理领域,语言模型的发展日新月异。随着对长文本处理需求的不断增加,能够高效生成长文本的语言模型变得至关重要。LongWriter 作为一款由清华大学数据挖掘研究组(THUDM)开发的语言模型,以其出色的长文本生成能力引起了广泛关注。本文将深入探讨 LongWriter 的各个方面,包括简介、功能特点、评估测试、应用场景以及本地部署,为读者全面展示这一强大工具的魅力。

寻道AI,探索AI无限可能! 4443

更新3ds时和用读卡器读取传输文件操作不当导致的tf卡损坏无法读取需要格式化时出现的问题以及不想丢失文件并且修复的详细解决方法

前言: 不小心按了同意更新而且tf/sd卡损坏导致了3ds打开后都是出现 Anerror has occurred:(红色的) Failed to apply 1 FIRM patch(es). Press any button to shotdown 这样的画面,按了任意键后就关机,我找了很多资料和大佬的回答解决了这些问题,现在记录一下。 一.不小心按了更新导致上述的画面 原因:是因为系统升级了,但是里面的Luma3DS还没有更新,属于是更新了但没有完全更新的状态。 **修复方法** 1.首先请按

give_me_fish的博客 1万+

清华大学LongWriter语言模型

为了解决这个问题,作者引入了AgentWrite,这是一种基于代理的流程,将超长生成任务分解为子任务,使现成的LLMs能够生成超过20,000字的连贯输出。为了确保输出的连贯性,当我们调用模型生成第n段时,我们还输入之前生成的n−1段,让模型基于现有的写作历史继续写下一段。尽管这种串行方式防止了并行调用模型同时完成多个子任务,并且输入长度变得更长,但我们的验证显示,通过这种方式获得的写作整体连贯性和质量远优于并行生成的输出。在当今信息爆炸的时代,写作已不仅仅是表达思想的工具,更是沟通、分享和影响的桥梁。

haleycat的博客 1614

MDT部署实战:除了Office,这些“装机必备”软件也能一键静默安装(含静默参数)

本文详细介绍了如何利用Microsoft Deployment Toolkit(MDT)实现企业级软件的静默安装,包括浏览器、开发工具和系统增强工具等“装机必备”软件的部署方案。通过命令行参数和MSI属性,IT运维团队可以高效构建标准化工作环境,提升部署效率并确保版本一致性。文章还提供了安装顺序控制、结果验证和常见问题排错等高级技巧。

weixin_26985923的博客 172

基于AXI PCIE IP的FPGA PCIE卡示意图

如果在上图中的AXI互联IP上再连接一个带AXI Slave接口的BRAM控制器,这个BRAM控制器连接一个BRAM,Host PC在系统主存中分配了一些不连续的内存,Host PC可以将这些内存段的起始地址(当然要先转为PCIE总线地址)写到AXI总线上的BRAM中,这样AXI CDMA读取BRAM,将读取到的PCIE总线基地址写到AXIPCIE寄存器块中的AXIBAR2PCIEBAR_n寄存器中,这样就实现了SG DMA。通过动态改变AXIBAR2PCIEBAR_n寄存器的值,可以实现多通道DMA。

csdn_gddf102384398的博客 1624

LongWriter——从长文本语言模型中释放出10,000+字的生成能力

在本文中,我们讨论了 LongWriter,这是一个基于代理的管道,它将超长生成任务分解为子任务,确定了当前 LLM 的 2,000 字生成限制,并建议通过在对齐期间添加长输出数据来增加其输出窗口大小。为了自动构建长输出数据,LongWriter 开发了 AgentWrite,这是一个基于代理的管道,它使用现成的 LLM 创建扩展的、连贯的输出。LongWriter 使用构建的 LongWriter-6k 成功地将当前 LLM 的输出窗口大小扩展到 10,000 字以上。

知来者逆的博客 2159

STM32F030F4P6实战:LL库+DMA驱动WS2812全流程(附避坑指南)

本文详细介绍了如何使用STM32F030F4P6的LL库和DMA驱动WS2812 LED灯带的全流程,包括硬件选型、CubeMX配置、LL库与DMA关键实现、数据格式转换及调试技巧。特别提供了避坑指南,帮助开发者避免常见错误,提升开发效率。

weixin_29194693的博客 487

LongWriter模型部署教程

LongWriter是由清华大学数据挖掘研究组开发的语言模型,该模型具备出色的长文本生成能力。本文将探讨该如何实现LongWriter模型在本地的部署。

SJJS_1的博客 1126

【25届数字IC秋招总结】面试经验7——联发科

25届数字ic面试记录——联发科

lalala0635的博客 983

SAP-ABAP:SAP数据库视图(Database View)详解-创建

数据库视图是SAP中实现多表关联查询的基础工具,适合简单的跨表查询和权限控制场景。但其功能有限,对于复杂逻辑或高性能需求,建议结合CDS视图或ABAP程序开发。通过合理设计,数据库视图可显著提升开发效率和系统可维护性。它存储在数据库中,但本身不存储数据,仅通过查询动态生成结果。是一种基于物理数据库表的虚拟表,通过关联多个表(使用。

baidu_35680696的博客 1370

LLMs之LongWriter:LongWriter(释放长上下文LLM的10000+字生成能力)的简介、安装和使用方法、案例应用之详细攻略

​ LLMs之LongWriter:LongWriter(释放长上下文LLM的10000+字生成能力)的简介、安装和使用方法、案例应用之详细攻略 目录 相关文章 LongWrite的简介 LongWrite的安装和使用方法 LongWrite的案例应用 相关文章 《LongWriter: Unleashing 10,000+ Word Generation from Long Context LLMs》翻译与解读 地址 论文地址:https

头部AI社区如有邀博主AI主题演讲请私信—心比天高,仗剑走天涯,保持热爱,奔赴向梦想!低调,专注,谦虚,自律,反思,成长,还算比较正能量的博主,公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然,有点小情怀,也有点使命感呀 3076

AI驱动的网络安全运维:智能化时代的安全保障

本项目旨在使用Python和AI技术构建一个智能化的网络安全运维系统,能够实时监测网络流量,检测潜在的安全威胁,并自动采取应对措施,从而提升网络安全管理的效率和准确性。具体内容包括:环境配置与依赖安装数据采集与预处理机器学习模型构建与训练实时威胁检测与响应实际应用案例通过本文的介绍,我们展示了如何使用Python和AI技术构建一个智能化的网络安全运维系统。

Echo_Wish 1291

OpenBayes 教程上新 | 1 分钟生成万字悬疑小说,LongWriter-glm4-9b 上线!

随后,该研究团队还利用 LongWriter-6k,基于 GLM-4-9B 进行训练,得到了一个能够生成超过 10,000 字连贯文本的模型 LongWriter-glm4-9b,显著扩展了大型语言模型的输出潜力,在文学创作、新闻报道等实际应用中表现出极大的广泛性。近年来,大语言模型 (LLM) 在理解和生成复杂文本时展现出强大的能力,能够处理高达 100,000 个 tokens 的输入,但在生成超过 2000 词的连贯输出时,往往会遇到困难。3. 点击右下角「下一步:选择算力」。一键克隆即可开启对话。

OpenBayes的博客 710

android 蓝牙通讯demo

android 下蓝牙通讯demo,实现了发现蓝牙,使能蓝牙,通过蓝牙发送消息。

lwip-2.0.3

lwip是瑞典计算机科学院(SICS)的Adam Dunkels 开发的一个小型开源的TCP/IP协议栈。实现的重点是在保持TCP协议主要功能的基础上减少对RAM 的占用。

LongWriter:LLM 万字生成

的框架,能讲超长的生成任务分解为子任务,使现有的 LLMs 能连贯生成并输出超过 20000 个单词。是一个专门用于解决现有大模型很难一次输出超过 2000 字的项目。和 LongWrite-Ruler 基准测试。数据集和用于评估长文本生成性能的。

weixin_51674085的博客 428

IMSL CNL 7.0.0 (x86-64)Crack

IMSL CNL 7.0.0 (x86-64)Crack intel的算法库破解文件,这是C++版本的破解文件

LongWriter 使用教程

LongWriter 是一个基于 GLM-4 和 Meta-Llama-3.1 模型开发的开源项目,旨在实现长达 10,000+ 字的文本生成。它通过利用长文本上下文,使得生成的文本更加连贯和丰富。LongWriter 的核心是一个高效的文本生成引擎,能够在短时间内生成高质量的文本内容,适用于多种应用场景,如自动写作、内容生成等。 ## 2. 项目快速启动 在开始使用 LongWriter 前...

gitblog_00273的博客 540

ET2012新版免狗免安装绿色软件

ET2012新版免狗免安祖昂绿色软件。,新界面,新视觉,

Long Writer:长文本生成新标杆

Long Writer通过创新的监督微调方法、独特的数据集构建策略以及代理驱动技术(Agent WR),显著提升了长文本生成的连贯性、结构化和质量。其分段生成和逻辑组织技术使模型能够处理复杂主题,生成长达10,000字的高质量文本。这一工具在内容创作、技术写作和教育资源开发等领域展现了强大的应用潜力,满足了不同用户对高质量长文本的需求。Long Writer的开放性和易用性使其成为内容创作者、开发者和教育工作者的理想选择,推动了人工智能在自然语言处理领域的进一步发展。

XianxinMao的博客 959

pyenv性能优化指南:加速版本切换与命令执行的终极秘诀

想要提升Python开发效率?pyenv性能优化就是你的终极解决方案!作为Python版本管理的利器,pyenv不仅能帮你轻松切换不同Python版本,更能通过一系列优化技巧大幅加速版本切换与命令执行过程。在这篇完整指南中,我将分享10个实用的pyenv性能优化技巧,让你的开发工作流更加流畅高效。🔥 ## 🚀 为什么需要pyenv性能优化? 在日常开发中,我们经常需要在多个Python版本

gitblog_02100的博客 473

【限时免费】 深度拆解LongWriter-glm4-9b:从基座到技术实现

深度拆解LongWriter-glm4-9b:从基座到技术实现 【免费下载链接】LongWriter-glm4-9b LongWriter-glm4-9b 是基于glm-4-9b训练而成,支持10000+单词的输出。 项目地址: ...

gitblog_02746的博客 545

智谱AI GLM4开源!快速上手体验

GLM-4-9B 是智谱 AI 推出的最新一代预训练模型 GLM-4 系列中的开源版本。在语义、数学、推理、代码和知识等多方面的数据集测评中,GLM-4-9B 及其人类偏好对齐的版本 GLM-4-9B-Chat 均表现出较高的性能。GLM-4-9B 模型具备了更强大的推理性能、更长的上下文处理能力、多语言、多模态和 All Tools 等突出能力。

IT大头的博客 4363

vLLM本地部署GLM-4-9b大模型,ChatTTS+AutoGen实现多AI对话转语音!打造AI小说智能体!AI写高考作文

5)使用pyautogen完成用glm进行高考作文编写,并用gpt3-5评审的流程。8) chatTTS调用autogen的代码。3)用vllm以openai接口的形式运行。6)本地部署chatTTS(文字转语音)7)测试chatTTS。2)去魔塔社区下载模型。

m0_57057282的博客 1936

轻量级 AI 革命:Phi-3.5 小模型现可一键 input!浙大领头开源多模态基准上线,含 8 大类别图像问答

使用传统的数字人训练方案生成一个高质量的数字人,常常需要大量的时间和算力资源,同时对训练素材的要求也较高。MuseV 和 MuseTalk 的出现为数字人领域带来了新的突破,使用 MuseV 生成数字人视频后,再使用 MuseTalk 实现唇形和音频的同步,短短几分钟内即可实现完整的数字人制作。此数据集包含由 Llama-3.1-70B-Insturct 生成的 2.2k 个多轮会话,所有的对话都以 1 句问候语开始,选择的主题涵盖日常主题和基础科学,包括:20 个日常话题,每个话题有 100 个子话题;

OpenBayes的博客 1186

LONGWRITER:从长篇上下文 LLM 中释放 10,000 多单词的生成能力

24年8月来自清华和智谱AI公司的论文“LONGWRITER: UNLEASHING 10,000+ WORD GENERATION FROM LONG CONTEXT LLMS”。

yorkhunter的博客 1727

【限时免费】 巅峰对决:LongWriter-glm4-9b vs 竞品,谁是最佳选择?

巅峰对决:LongWriter-glm4-9b vs 竞品,谁是最佳选择? 【免费下载链接】LongWriter-glm4-9b LongWriter-glm4-9b 是基于glm-4-9b训练而成,支持10000+单词的输出。 ...

gitblog_02454的博客 426

【LLM】GLM长文本训练(数据、流程、infra)

GLM融合packing和sorted batching的优点,提出sorted packing训练方法:根据计算量来构建同一批次内的 Pack,确保同一批次中各个 Pack 数据的计算量相近,从而减少了气泡时间。此外,我们还引入了梯度累积技术,以避免排序带来的偏差 长短文本混合 SFT 的高效训练方法主要有两种:Packing 和 Sorted Batching。Sorted Batching 可能会引入某些先验知识,即同一批次内的数据长度趋于一致,这有可能导致不良的训练效果。相比之下,Packing 策

发现问题,并解决问题,批判性思维 2972

LongWriter: 基于LLM代理可以将输出窗口大小扩展到10,000+个单词

这篇论文确定了当前LLM的2,000词生成限制,并提出通过在对齐过程中添加长输出数据来增加它们的输出窗口大小。为自动构建长输出数据,开发了AgentWrite,这是一个基于代理的流程,使用现成的LLM创建扩展的、连贯的输出。使用论文构建的LongWriter-6k成功地将当前LLM的输出窗口大小扩展到10,000+词。

deephub 4553
上一篇: 美国科学院院刊封面文章!中国团队发布可晶圆级生产的人工智能自适应微型光谱仪
下一篇: 覆盖 7 百万问答数据,上海 AI Lab 发布 ChemLLM,专业能力比肩 GPT-4
HyperAI超神经
博客等级 码龄7年 8873粉丝 1753原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值