打破长度限制！ChatGPT新能力：长篇小说写作不再是梦✨-RecurrentGPT带你探索交互式

学会提问 2年前 (2023) lida

56 0 0

文章主题：

机器之心专栏

机器之心编辑部

🎉🚀ChatGPT引领潮流，全球热议的背后，它无疑是现代写作的得力助手，无论是🔥电子邮件的撰写，还是🤔博客文章的创意构思，都能轻松应对。然而，对于🌟长篇叙事的艺术殿堂，如小说或剧本创作，或是🔥文案的大规模撰写，ChatGPT似乎还稍显稚嫩。尽管如此，这并不意味着它无法在这些领域发光发热，技术的进步总会在未来带来突破。📚📝让我们期待它在长内容创作中的更多可能和优化。SEO优化提示：#ChatGPT写作辅助 #长篇内容创作挑战 #技术进步与创新

🌟🚀新纪元来临！瑞士苏黎世联邦理工与波形智能联手推出Revolutionary RecurrentGPT！🔍💡ChatGPT的超级进化版，引领交互式超长文本新高度！✨🌍无需束缚于固定长度，让创意无限延伸！📚uthoring长篇小说？不再是梦！ChatGPT+RecurrentGPT，带你走进无限可能的世界！🌐🌟欲了解更多，敬请关注未来科技动态！🔥💥

图 1 RecurrentGPT 使用示意图。论文地址：https://arxiv.org/abs/2305.13304

项目地址：https://github.com/aiwaves-cn/RecurrentGPT

🌟🚀探索无限创意！🎨✨AI Waves现在推出两款震撼力作，带你步入文学的新纪元！📖🔍首先，体验我们创新的长篇小说写作平台——🌐🔥Recurrent GPT，它以超凡的想象力和流畅的文字编织出令人叹为观止的故事。每一章节都仿佛在向你讲述一个未完待续的冒险，只需轻轻一点，你的想象力就能跃动于屏幕之上！🚀💫然后，不妨尝试交互式小说的探索——🌐🔍Interactive Fiction，它突破传统，让你不再是被动的读者，而是故事中的主角，每一次选择都会引领情节走向不同的结局。沉浸在虚拟世界中，感受文字与现实交织的魅力吧！🌟👍别忘了，我们的目标是激发你的创作热情，而非推销个人信息或产品。AI Waves致力于用科技点亮文学的梦想，让想象力无边界！🌍🌈立即行动，开启你的创作之旅，让我们一起见证创造力的火花在AI Waves的代码中燃烧！🔥🚀

🌟了解了！基于Transformer的大语言模型，一个显著挑战在于其对输入与输出长度的局限性。虽有VectorDB等技术尝试缓解输入限制，但输出内容的扩展仍是ChatGPT这类大模型在长文本生成中的绊脚石。为打破这一瓶颈，业界曾探索通过向量化State或Memory来实现循环计算，尽管这在长文本建模上有所成效，但它要求用户具备并能调整模型架构和参数，这对于当前多数封闭源的模型环境来说并非易事。🚀

🌟【创新引领】首推🔥RecurrentGPT：打破传统，引领交互式长文本新纪元✨💡RecurrentGPT以其独特智慧，开创了利用大语言模型驱动交互式长文本生成的新篇章。它巧妙地融合了ChatGPT等巨擎的力量，通过深度理解自然语言指令，实现了犹如神经网络循环计算的流畅互动。🚀不像传统的线性流程，它以循环的方式编织故事，提供个性化的服务，为用户带来前所未有的沉浸式体验。🌍这款革命性的技术不仅颠覆了行业认知，更优化了搜索引擎的SEO策略，让长篇内容更具吸引力和可搜索价值。🔍欲了解更多关于如何利用这项先进技术提升文本创作力的秘密？请随时关注我们，让我们一起探索这个交互式语言的新维度！👩‍💻👨‍💻

🌟图2揭示了RecurrentGPT的独特工作方式：每个时序步骤，模型都会整合上一节生成的文本、短期记忆摘要（🔥短期记忆）、长期记忆中的相关历史内容（📜），以及对未来走向的概要预测（🔮）。它以此为依据，创作新内容，更新其内部的记忆结构，并生成对下步产出的策略规划。这种迭代机制打破了Transformer固有的长篇生成局限，实现了随需而定的文本生产，同时确保了时间序列中的连贯性和信息完整性。🌍

图 2 RecurrentGPT 基本结构示意。

具体来讲。作者们设计了如图 2 所示的 prompt 去指导和规范循环的生成：

图 3: RecurrentGPT Prompt 设计。

首先指明任务，比如写小说，并说明在输入部分会给出的内容：上一步生成的段落（图中 Ot-1）、当前维持的近期生成内容的摘要，即短期记忆（图中 ht-1），所有生成内容中和当前时间步相关程度最高的几个段落，即短期记忆（图中 ct-1），以及对接下来生成内容的规划（图中 xt-1）。

接着在 prompt 中给 ChatGPT 提出要求：首先基于当前的输入生成一个新的段落，接着对维护的短期记忆进行修改，同时在对短期记忆修改时作者们指示大语言模型首先分析短期记忆中哪些内容对于后续创作不再重要以及新生成的内容中哪些会对后续生成有所影响，之后相应地在地短期记忆库中去去除无用的信息并增添新的信息，从而保持短期记忆不会因为迭代的轮数增加而变得过长。最后要求 ChatGPT 基于当前的情节铺设，给出三个逻辑顺承又有趣的新的情节的规划。

在提出要求后，作者在结尾再次精心设计了 prompt 来规范 ChatGPT 的输出，并重申了当前小说写作的情景。这个好处是让 ChatGPT 生成的内容更具备像小说那样的细节，而不是在每一轮的迭代中，快速地完成情节的叙述。

图 4 RecurrentGPT Demo

在实际使用中，内容创作者只需先选择一个主题，然后简单地描述一下要生成的内容的背景设定和大纲，剩下的工作就可以交给 RecurrentGPT。每一个它将自动生成第一段，并提供几个可能的选项（plan）供创作者继续写故事。创作者可以选择一个选项、对某个选项进行修改或者自己编辑一个新的选项。这个流程能显著提高内容创作者的效率。

这个新的长文本生成范式将带给所有内容创作者和读者一种全新的体验。首先，相比现有的方法，RecurrentGPT 有更强的可解释性，因为用户可以观察和编辑自然语言记忆，这使得用户可以更清晰地理解这个框架是如何工作的。其次，用户可以直接影响生成内容的方向，让整个写作过程变得更加有趣。

除了作为 AI 内容生成 ( AIGC ) 的工具以外，RecurrentGPT 可以直接作为交互式小说，直接与消费者互动，跳过了内容创作者使用 AI 进行内容创作的步骤。这让消费者的体验更直接有趣，并且带来更丰富的可能性。作者们将这样的生成式 AI 的使用范式称之为 ( AI as Content, AIAC ) , 也就是 “AI 即内容 “。而 RecurrentGPT 则是通往这个范式的第一步。

在实验中，作者们将 RecurrentGPT 与之前的 SoTA 长文本生成方法，在统一使用 ChatGPT 作为基座模型的情况下，在长文本（6000 单词）和较长文本（3000 单词）的设定下进行 pair-wise 的人工比较。

图 5 RecurrentGPT 实验结果。

在上述一系列测试中，RecurrentGPT 无论是在科幻、浪漫、幻想、恐怖、神秘还是惊悚小说的生成上，都被人类读者认为更有趣和连贯。

总结

研究人员提出了 RecurrentGPT，用基于自然语言的组件取代了 RNN 中向量化的结构，并且用基于自然语言的 Prompt 模拟了 RNN 的循环计算图，从而实现 Recurrent Prompting，让 ChatGPT 等大语言模型模拟 RNN 的循环计算机制，生成有趣并连贯的长内容。

该项目已经在 GitHub 上开源，并提供了基于 Gradio 的网页 UI，方便每一个用户去使用和调教自己的长内容创作助手。

THE END

投稿或寻求报道：content@jiqizhixin.com