大厂叫停“烧Token内卷”,AI竞争进入数据效率时代

Agent时代,企业的AI开支,可能有一半交了“token税”。 伴随AI的规模化应用,Token作为大模型处…

Agent时代,企业的AI开支,可能有一半交了“token税”。

伴随AI的规模化应用,Token作为大模型处理信息的计量单位,逐渐成为最基础的资源要素,如同工业时代的电力和石油。这也催生出一种全新的资源配置方式——Token经济:企业AI应用的成本、效率和价值创造,全部围绕Token的获取、分配、消耗与治理展开,Token的精细化管理成为企业智能化运营的核心命题。

智能体加速进入企业核心业务后,AI应用从“对话”转向“执行”,Token消耗呈指数级暴涨。据中国工程院院士、清华大学计算机科学与技术系教授郑纬民判断,单智能体的Token消耗量可达传统对话应用的百倍至千倍级。据IDC预测,2026年我国企业级Token消耗量将同比增长约20倍,达到4万万亿,即日均消耗110万亿。

然而,海量算力投入又有多少转化为实际业务价值?有媒体调查了多家企业后指出,全球企业级AI应用中,约50%的Token被浪费。如果说每一个Token都是AI时代的生产资料,那么,那些企业真金白银购买却没有产生业务价值的Token,就是企业所缴纳的一笔“Token税”。其造成的大量隐形成本,已成为导致AI预算失控的核心问题。

在这种情况下,如何减少无效Token消耗、提升算力利用效率,成为Agent时代企业必须回答的新课题。

AI开支刹不住车,科技公司开始向“Token税”开刀

今年3月,黄仁勋在一档播客节目中表示:“如果一位年薪50万美元的工程师,一年消耗的Token价值还不到25万美元,我会非常担心。”

这番言论代表了科技企业管理者的普遍心态:只有组织充分使用AI,才能真正释放生产力,而Token消耗量,则成为衡量AI应用深度的重要指标。这种共识推动企业不断加大AI投入,并鼓励员工消耗Token,有激进者甚至将Token使用量纳入员工绩效考核。

由此,“Token-maxxing”(将Token使用量拉到极限),迅速成为科技圈的新潮流。从公司之间比拼AI投入,到员工争夺内部Token使用量排行榜,“烧Token”逐渐演变成一场新的竞赛。

然而,问题很快浮出水面。

首先是AI开支的失控。据公开报道,Uber发现公司全年的AI工具预算在今年前4个月就已耗尽,每名工程师的月均API调用成本达到500至2000美元;英伟达深度学习部门的高管也曾坦言,团队的算力成本已经远远超过了员工工资;据媒体报道,Meta员工更是在冲榜过程中30天烧掉60万亿Token。

与此同时,一些企业内部开始出现“刷Token”的现象。据公开报道,Meta、亚马逊、微软等科技公司发现,员工为了提升AI使用指标而进行无效调用,刻意消耗Token,造成企业AI投入的浪费。

(外网知名技术博主评论)

这些乱象,促使整个行业开始重新思考:Token用得越多,就真的意味着生产力越高吗?

Uber首席运营官Andrew Macdonald给出了否定的答案。据公开报道,他在今年5月坦言,并没有看到AI支出的增加与生产力提升之间存在明确的对应关系。为此,Uber紧急“刹车”,针对工程师使用AI编程工具的预算,设置了每人每月1500美元的上限。

无独有偶,据公开报道,微软、亚马逊等也纷纷收紧高价模型内部授权,取消AI使用排行榜等激励机制。放眼国内,据公开信息,腾讯、阿里、字节跳动、京东、美团等企业,也相继建立了调用限额和预算管理机制,压缩无效Token消耗,提高算力投入产出比。

这表明,企业的关注点已经发生变化。比拼的不再是谁用掉更多的Token,而是谁能够让单个Token创造更多价值。越来越多企业意识到,那些没有产生业务价值、却持续推高AI成本的Token——也就是企业正在缴纳的”Token税”,必须得到治理。

那么,约一半白白消耗的Token,究竟浪费在了哪里?

究竟是什么在“吞噬”Token

面对不断攀升的Token账单,很多企业最初将原因归结于模型价格、上下文长度或Prompt设计。然而,据Denodo发布的《更低成本,更高信任:代理AI的新经济学》白皮书分析,导致大量Token无效消耗的重要根源,其实藏在企业数据层。

现实中的企业数据,并非集中存放于一个数据库,而是广泛分布于数据仓库、数据湖、业务系统、SaaS应用、API接口、文档以及向量数据库等不同平台,并且它们使用不同的模式、业务定义、访问方法和安全策略。当Agent逐个访问这些数据源时,往往还没开始回答业务问题,就已经承担了相当可观的“Token税”。

具体而言,Token的浪费可能发生在四个层面。

一是重复的数据发现。面对分散的数据资产,Agent需要反复访问不同平台,读取Schema、元数据和Catalog,不断寻找真正可用的数据入口。在企业拥有数百个数据源的情况下,这些重复的数据发现过程会消耗大量Token,而真正用于回答业务问题的Token反而只占其中一部分。

二是企业将本应由数据库完成的工作,交给LLM执行。不少企业为了快速接入AI,直接将大量原始数据送入大模型,由LLM完成数据关联、过滤、聚合和计算。本应由数据库查询引擎完成的确定性计算,却交给了成本更高的大模型处理。正如白皮书提出的观点:“不要花LLM的钱,去完成查询优化器更擅长的工作。”

第三类浪费,来自业务语义不统一导致的反复试错。在不同业务系统中,“客户”“收入”“风险”“活跃账户”等指标往往采用不同定义,缺乏统一业务语义。Agent只能不断尝试不同查询路径,反复修正结果,不仅降低回答效率,也持续推高Token成本。

最后一类浪费来自过度检索。大量与当前任务无关的、受限的或不必要的详细数据,随着检索结果进入模型上下文,既增加了Token消耗,也同步放大了数据安全和合规风险。白皮书指出,真正安全、也最节约成本的Token,是那些从未进入Prompt的Token。

值得关注的是,发生在数据层的浪费并非简单相加,而是具有明显的“复利效应”。

与传统聊天机器人不同,Agent通常需要经历多轮推理和工具调用,每一轮都会携带上一轮上下文继续执行任务。前期检索的大量原始数据、工具返回结果甚至错误信息,都可能持续保留在上下文窗口,在后续多个步骤中被反复传递、重复计算。一次看似不起眼的数据冗余,经过多轮任务循环后,最终会演变为数倍乃至数十倍的Token成本。

因此,企业今天看到的只是不断上涨的Token账单,而真正的问题,却隐藏在数据进入AI之前。

从这个意义上说,所谓“Token税”,本质上是企业数据架构向AI时代过渡过程中需要关注的效率问题。企业支付的并非模型能力本身的费用,而是在为低效的数据流动、重复计算、语义不一致以及无效上下文所产生的大量额外Token买单。

减少“Token税”,企业需要将优化重点前移到数据层

既然问题出在数据层,那么治理“Token税”的关键,也必须前移到数据层。首先需要优化的,是数据进入AI的方式。

据Denodo介绍,其提出的“AI数据层”理念,核心目标是避免让Agent直接面对海量、分散的原始数据,而是在数据进入AI之前,提前完成数据连通、语义统一、权限控制和上下文优化,为智能体提供轻量化、可信、业务就绪的数据。

据Denodo产品营销副总裁Dominic Sartorio介绍,Denodo平台通过减少模型在其上下文窗口中需要处理的工作量和原始数据量,从源头解决Token浪费问题。其依靠的是全域连通、零拷贝实时访问、统一语义和集中治理四项核心能力。

全域联通和零拷贝实时访问,是指通过搭建一个逻辑层,将原本分散在不同平台的数据统一组织起来,无需重复搬迁和复制数据,即可实现跨系统实时访问。数据的过滤、连接和聚合操作,全部在数据层内部解决,而不是让成本更高的大模型去执行。统一语义,则让不同业务系统中的数据拥有一致的业务定义,避免Agent因语义差异反复试错。再结合集中治理能力,在数据进入上下文之前就完成权限过滤、敏感信息控制和数据裁剪,仅向Agent提供当前任务真正需要的数据。

这样的解决方案,让Agent不再需要处理大量原始数据,而是直接获得经过组织、治理和压缩的业务上下文。数据越精准、上下文越紧凑,Agent需要消耗的Token就越少,同时回答质量和数据安全性也得到同步提升。

(图:Denodo数据架构)

据Denodo公开案例介绍,这一思路已在企业实践中得到应用。2024年,Denodo与某大型保险企业达成战略合作,为其构建覆盖“数据-BI-AI”的一体化平台:底层以Denodo数据虚拟化技术打通企业分布式数据,中层建设自助BI和数据治理体系,上层接入AI Platform,实现MCP集成、Conversational BI以及Agentic AI等能力。

在业务效率方面,据该案例介绍,数据底座的统一带来了明显改善。理赔数据准备时间由原来的数周缩短至数天;首席风险官(CRO)风险报表生成时间从每月数天缩短至较短时间;反欺诈验证也从数小时缩短至分钟级,大幅提升了业务响应速度。

更值得关注的是,据该案例介绍,数据层优化直接转化为Token成本的下降。以该保险企业每月约50万次Agent任务、平均6轮上下文交互为例,引入Denodo之后,数据访问Token消耗显著下降。

这一案例也印证了一个越来越清晰的行业趋势:当Agent逐渐成为企业AI应用的主要形态,企业之间竞争的不再只是模型能力,而是谁更能够让每一个Token真正产生业务价值。

当行业开始从模型竞赛迈向Token经济,如何减少无效Token、建立可信的数据供给体系,也将成为企业AI规模化落地过程中最重要的基础能力之一。治理“Token税”,本质上不是改变模型能力,而是让企业的数据架构更加适应AI时代,为Agent提供可信、高质量的数据基座。AI竞争的下一阶段,将是数据基座的竞争。

本文系商业推广信息,所涉及的企业案例数据及产品功能描述均来源于Denodo公开资料及企业自行披露,具体效果以实际部署及双方确认为准。文中引用的行业数据来源于公开报道及第三方机构报告,仅供参考。

关于作者: 早报

为您推荐

发表回复