文章主题：TableLLM, LLM应用, 办公自动化, 数据处理

666ChatGPT办公新姿势，助力做AI时代先行者！

TableLLM：性能超GPT4的表格13B大语言模型

发布时间：2024 年 03 月 28 日

LLM应用 办公自动化 数据处理

✨📊Transforming Tabular Magic with LLMs in Modern Workspaces 📈💻Unlock the power of structured data with TableLLM, the cutting-edge AI solution that brings LLMs (Language Models) to the forefront of real-world office scenarios. Say goodbye to manual juggling and hello to seamless table management! 🤝📊TableLLM revolutionizes how we handle tables in documents, streamlining workflows and boosting productivity like never before. With its deep learning capabilities, it parses complex data with precision, ensuring accuracy every step of the way. 🧠📊In today’s digital age, where data is king, TableLLM ensures your company stays ahead by providing a smart and adaptable tool that adapts to your unique needs. Say goodbye to clunky interfaces and hello to intuitive design that enhances user experience. 💻✨Experience the future of table management with TableLLM – the secret weapon for businesses seeking efficiency and data-driven success. 🚀📊 Don’t miss out on this game-changing technology; explore how it can transform your organization’s data handling today! 🔍🌐

摘要

🎉🚀【超大规模语言模型】TableLLM🌟🚀，130亿参数巨献！专为表格数据处理而生，文档与Excel无所不能！🚀📊我们独创的【远程监督+推理扩展】技术，让TableLLM犹如数据魔术师，精准掌握逻辑推演。每一步都经过严谨的【交叉验证】保证，生成的数据质量无可挑剔。🔍💪为了全方位验证其实力，我们精心设计了全面的【文档表格评估基准】，并建立了高效的评估流程。结果表明，TableLLM在表格处理上，超越同类，独树一帜！🏆📈好消息来了！TableLLM已公开所有关键资源——模型点、源码、评估工具以及交互式Web应用，让研究和实践无缝对接！🚀📚立即探索，体验TableLLM带来的高效与便捷，让我们一起见证表格数据处理的新高度！🔥🌟

表格相关的任务介绍

📊📊任务统计概览在此！🔍表格大挑战一览无遗：-‘, (1) 数据魔术师：表格问答与修订，图表巧手绘制，表格匹配游戏，重复数据扫清；-‘, (2) 文件专家：Excel&Word表格式精通，轻松驾驭各类表格格式；-‘, (3) 表格长度分水岭：小型表格≤50行，大型表格>=50行，定制化服务满足不同需求。每一项任务都精准刻画了表格处理的深度与广度。让我们一起深入解析，提升数据处理效率！🏆

与传统的的表格任务相比，现实世界中办公使用表格数据面临两个主要挑战：

🌟掌握全方位技能！💡用户需求丰富多样，无论是🔥数据查询、即时更新、智能合并还是🎨图表制作，都超出常规的表格问答范畴。我们提供的不仅仅是答案，更是全方位的数据处理体验。🌍

🌟独特格式处理秘籍🌟无论是结构丰富的Word文档，还是逻辑严谨的Excel/CSV表格，都有其独特的处理之道。💡Word/PDF文件以其整合的上下文文本与表格数据著称，轻松实现混合查询，一网打尽信息海洋。📊而Excel/CSV电子表格就像一个灵活的数据巨人，支持深度操作，如精确更新和无缝合并单元格，满足复杂需求。无论你的文档是需要全面检索还是特定区域的更新，这里都有适合的方法。🎯无论是日常整理还是数据分析，每个格式都有其独特的价值，只需巧妙运用，信息处理将事半功倍。📚记得，提升数据处理效率的同时，也要关注SEO优化哦！让你的文字在搜索引擎中闪闪发光！🌐

🌟现有工作虽在利用LLMs解析特定表格领域有所建树，但对于长表及复杂操作，或是融合了文本与表格的多维度问题，仍存在挑战。💡针对电子表格的代码解决方案虽然高效，但在处理混合查询时显得力不从心。两者似乎各司其职，未能实现对现实办公场景中广泛应用的全能型表格数据处理。💼因此，寻求一种能同时应对并优化这两种类型数据需求的技术革新是当前亟待解决的关键问题。

作者提出了TableLLM，是一个专门设计用来处理在电子表格和文档使用场景中遇到的各种表格操作的模型，这些操作在真实的办公使用场景中被称为表格数据操作。

为了便于模型训练，引入了一种远程监督方法，该方法补充了现有基准测试的推理过程，帮助LLMs更有效地理解推理模式。此外，我们通过交叉验证策略验证自动生成的问题和答案，确保数据质量。

还提供了与单一答案采样和同向验证相比，交叉验证有效性的理论分析。利用这种远程监督训练数据，我们对CodeLlama (13B)（进行了微调，从而开发出了TableLLM。这个模型通过内部参数驱动的方法巧妙地处理嵌入在文档中的表格数据，并通过代码驱动的方法处理嵌入在电子表格中的表格数据。

框架

上图展示了 TableLLM 的整体架构：

• 构建远程监督学习训练数据。远程监督训练数据包括整合现有的基准训练数据以及从可用的表格数据生成的新问题和答案。为了加强LLMs的训练，扩展基准数据内的推理过程。包括针对文档嵌入的表格数据的基于文本的推理，以及针对电子表格嵌入的表格数据的基于代码的推理。此外，为了确保自动生成的训练数据的质量，我们引入了交叉验证策略。该策略利用多种解决方案进行交叉验证，确保数据的可靠性和准确性；

• 模型训练。模型的训练针对文档嵌入的和电子表格嵌入的表格数据使用不同的提示。

性能

上表展示了两种场景下的的效果评估结果。表中的“_”表示该方法不支持该数据集或者测试的准确度过低。

结果显示，TableLLM在电子表格嵌入场景中普遍超越其他方法，在文档嵌入场景中与GPT-3.5持平。详细发现包括：

(1) 由于模型规模较小，TaPEX和TaPas的表现有限。这两个分别使用BART和BERT的预训练和微调模型，只有在使用各自训练版本时，在WikiSQL和WikiTQ基准测试中表现出相对较强的性能。

(2) StructGPT、Binder和DATER在不同数据集上的表现各异，表明了基于提示的LLMs在泛化能力上的局限性。这些模型为表格数据QA任务生成提示，在WikiTQ基准测试中一直表现良好，但在其他数据集上的性能有所减弱。StructGPT因其为Spider数据集定制的提示而在该基准测试中脱颖而出。

(3) DeepSeek (33B) 在电子表格嵌入的表格数据场景中表现出色。这种卓越的性能归功于DeepSeek对编码能力的广泛优化，使其能够熟练地生成处理电子表格嵌入表格数据的代码。然而，这种在编码能力上的专业化是以牺牲其他能力为代价的，例如直接从内部参数推断答案。

(4) TableLLM在电子表格嵌入场景中超越了GPT-3.5和GPT-4。此外，在我们创建的与训练数据完全不同的表格数据和问题的基准测试中，TableLLM达到了令人印象深刻的80.83%的准确率，展示了强大的泛化能力。相反，在文档嵌入场景中，TableLLM与GPT-3.5持平，但略逊于GPT-4，可能是因为该场景需要广泛的常识推理来处理文本数据，在这方面TableLLM可能受益于增强的文本QA训练。值得注意的是，OTT-QA具有与训练数据完全不同的表格数据和问题，其中TableLLM (7B)的准确率超过GPT-3.5 2.31%，进一步证明了其泛化能力。

Arxiv[1]

通往 AGI 的神秘代码

if like_this_article():

    do_action(点赞)

    do_action(再看)

    add_wx_friend(iamxxn886)

if like_all_arxiv_articles():

    go_to_link(https://github.com/HuggingAGI/HuggingArxiv)    star_github_repo(https://github.com/HuggingAGI/HuggingArxiv)引用链接

[1] Arxiv: https://arxiv.org/abs/2403.19318

AI时代，掌握AI大模型第一手资讯！AI时代不落人后！

免费ChatGPT问答，办公、写作、生活好得力助手！

扫码右边公众号，驾驭AI生产力！