这项由KAIKAKU谈论机构完成的谈论，以预印本步地发布于2026年5月，论文编号为arXiv:2605.30571v1，存档于策画机架构（cs.AR）畛域。感风趣的读者不错通过该编号在arXiv平台查阅完整论文。

花了十倍的钱买了一块顶级显卡，间隔运行速率只快了两三倍——这听起来像是一个令东说念主颓丧的购物故事，但对于正在快速发展的"物理AI"行业来说，这恰正是真实发生的事情。机器东说念主、自动驾驶汽车、随身AI助手，这些开导在责任时都需要逼迫地"念念考"并给出下一个输出，而这个念念考过程背后的策画代价，远比东说念主们想象的更复杂。

这篇谈论的中枢发现不错用一句话来空洞：买更贵的显卡不一定让AI跑得更快，因为瓶颈根蒂不在你以为的场合。谈论团队用严谨的实验拆解了这个问题，把恒久以来被工程师们默许为知识的论断推翻了一部分，同期也给出了真实有用的优化标的。

一、为什么机器东说念主和自动驾驶需要特殊的AI策画步地

绝大多数对于AI策画效能的谈论，针对的都是"云霄大畛域办事"这种场景——比如一个办事器同期解决一千个用户的问题，拚命提高每秒能解决些许央求。但物理AI开导的责任步地绝对不同。

以一台送餐机器东说念主为例。它在走廊里导航时，需要握续逼迫地生成下一步的动作指示。这个过程是单线程的：莫得其他机器东说念主在驾御恭候分享策画资源，等于这一台机器东说念主，等着AI给出下一个动作，然后推行，然后再等下一个。这种模式在时候上叫"批次大小为1的自归来解码"，普通地说等于"一次只办事一个用户的逐字生成"。

谈论团队关怀的正是这种场景——7到8亿参数畛域的谎言语模子（一种常见的中等畛域AI模子），在四种不同的英伟达显卡上，以这种单流单任务的步地运行时，各自推崇何如。他们测试了H100 SXM5（顶级数据中心卡）、A100-80GB（主流数据中心卡）、L40S（责任站级别）和L4（旯旮策画级别）这四张卡，测量了不同对话崎岖文长度（从2048到16384个词）下每生成一个词所需的时刻，共取得44组有用数据。

这四张卡之间的峰值内存带宽收支悬殊：最慢的L4只须300 GB/s，而最快的H100达到3350 GB/s，足足收支超越11倍。按照工程界恒久以来的主流判断，这种差距应该基本告成对应到速率差距——毕竟，生成每个词都需要把模子权重从显卡内存里读一遍，内存读得越快，生成越快。然则实验间隔令东说念主未必。

二、一个被低估的"内存带宽运用率"谋略

谈论团队想象了一个叫作念"不雅测值与表面下限之比"的谋略，用英文缩写写稿R_floor。这个谋略的含义相当直不雅：假定显卡把全部内存带宽都用来读模子数据，最快能在些许时刻内完成一步生成？这个表面上的最短时刻等于"地板值"。然后把推行不雅测到的生成时刻和这个地板值作念比较，取得的比值等于R_floor。

淌若R_floor等于1，说清亮卡还是跑满了内存带宽，达到表面极限；淌若R_floor远小于1，比如0.3，意味着推行耗时是表面最短时刻的三倍多，大量时刻被亏蚀在了其他场合。

实验间隔相当了了：L4的R_floor粗略在0.7到0.8之间，意味着它推行用到了自身内存带宽的约70%到80%，推崇格外接近表面极限。而H100的R_floor只须粗略0.2到0.3，也等于说H100只用到了自身峰值带宽的约27%。

换一种步地来清醒：L4这匹"慢马"险些被骑到了极限，而H100这匹"快马"只施展出不到三成的后劲。多出来的七成时刻被什么吃掉了？这正是这篇谈论要回复的中枢问题。

三、真实的瓶颈：每个策画程序启动时的"列队等候"

在显卡上运行AI模子时，整个这个词策画过程被理解成数百个小的策画程序，每一步都是一个孤苦的"策画核"（kernel）。每次启动一个策画核之前，运行在CPU上的圭臬需要先发一说念指示往时，告诉GPU"准备好了，开动算"。这个发指示的过程需要粗略30微秒（百万分之三十秒）。

听起来很短，但对于H100来说，这30微秒是个大问题。H100的内存速率极快，推行策画一个程序可能只需要10微秒，但在这10微秒的推行责任之前，需要先恭候30微秒的启动敕令。对于整个这个词生成过程来说，一个词的生成触及Qwen-2.5-7B模子（谈论中使用的一个具体模子）的28层荟萃，每层粗略10个策画程序，加上少量全局程序，揣摸约283个策画程序。每个程序都要恭候那30微秒的启动时刻，累加起来等于粗略8.4毫秒，而推行的内存读取策画只需要约3.8毫秒。换句话说，H100每生成一个词，有超越一半的时刻是在恭候CPU发出启动指示，而不是在真实作念策画。

L4的情况则迥然相异。通常的30微秒启动恭候时刻，对L4来说简直微不及说念——因为L4的内存较慢，推行策画每个程序需要约200微秒。这就好比一家餐厅的厨师很慢，主顾在办事台恭候下单的那点时刻根蒂不是问题，归正都要等厨师迟缓作念菜。而H100就像一位闪电般快速的厨师，但每说念菜上桌之前都要在办事台等半天材干下单，厨师的速率上风就这样被亏蚀掉了。

这个证明被称为"启动支出假说"，而谈论团队用一个挑升想象的实验来考据它。

四、CUDA图时候：一次性下全部订单，省却反复列队

英伟达开发了一种叫作念"CUDA图"（CUDA Graphs）的时候，它的旨趣很浅近：与其每个策画程序都单独发一次启动指示，不如提前把整个这个词生成进程的整个程序打包成一张"推行谋略图"，一次性告诉GPU"按照这张图推行"，后续每次生成只需要"回放"这张图即可，透顶省去了缓缓发令的支出。

这就像餐厅里的熟客，每次来都点通常的菜。第一次来的时候需要翻菜单、对话下单；但淌若修复了"老客套餐"，以后告成说"照旧"就行，办事时刻大大裁汰。CUDA图作念的等于把"照旧"这件事自动化。

谈论团队用这个时候作念了一个对照实验：在绝对交流的条目下，先测量不必CUDA图时每个词的生成时刻，再测量用了CUDA图之后的时刻，对比提速幅度。重要的预设判断是：淌若H100真的是被启动支出卡住的，那CUDA图应该显贵提速；淌若L4真的是被内存带宽卡住的，那CUDA图险些不应该有什么匡助。

实验间隔齐全地考据了这个判断。谈论团队在H100上用团结个确立跑了10次孤苦测试（每次都是全新启动的容器环境），间隔极为认知：不必CUDA图时平均每步14.83毫秒，用了CUDA图后降到11.78毫秒，提速1.259倍，10次测试的变化幅度极小，95%置信区间为1.253到1.267。

而在L4上作念通常的对照实验，间隔险些毫无变化：不必CUDA图时64.48毫秒，用了之后62.50毫秒，提速仅1.028倍，三次孤苦测试的间隔认知到少许点后四位。

值得说明的是，谈论团队预先设定了"证伪门槛"：淌若H100的提速不到1.15倍，或者L4的提速超越1.15倍，就合计启动支出假说被推翻。两个条目都莫得触发，假说取得了有劲相沿。此外，CUDA图从H100每步中移除的那3.05毫秒，并不绝对是"每个策画程序恭候30微秒"的浅近加总——它还包括Python和C++框架的转化支出、内存分拨锁定等多种CPU侧的隐性耗时，实质上是整个这个词启动链路的综合松弛。

五、刺眼光策画内核：换个引擎，不一定跑得更快

AI模子在解决崎岖文信息时有一个中枢策画模块叫作念"刺眼光机制"——浅近来说，它厚爱让模子在回复问题时"看"一遍之前整个的对话记载，决定哪些信息更伏击。工程界开发了多种不同的程序来高效地作念这个策画，比如FlashAttention-2、FlashAttention-3、FlashInfer等，都堪称能让刺眼光策画更快。

谈论团队在H100上作念了一个致密的对照实验，把这些不同的刺眼光策画步地在"单个词生成"这个场景下一一测试，间隔出东说念主想到。PyTorch框架默许的刺眼光策画步地（叫作念scaled dot-product attention，简称SDPA）每层耗时36微秒；而挑升为高效解码想象的FlashAttention-2耗时44微秒，反而更慢；FlashInfer需要48微秒；FlashAttention-3需要79微秒；数学回退决议需要177微秒；还有一种叫cuDNN的后端致使绝对不相沿这个策画体式。

也等于说，在H100单词生成这个具体场景下，换成任何"更先进"的刺眼光策画步地，不但不可加快，赛马投注app反而会拖慢合座速率。原因在于这些优化决议大多是为解决大量词语的"预填充"阶段想象的，而不是为每次只生成一个词的"解码"阶段优化。在解码阶段，刺眼光策画本人的责任量相当小（Qwen-2.5-7B在2048词崎岖文时，刺眼光的内存读取约118MB，比拟模子权重的15GB险些不错忽略），那些复杂的刺眼光内核反而带来了更多的启动支出和采用逻辑支出。

这个发现进一步印证了主要论断：在H100的单词生成场景下，启动支出才是瓶颈，刺眼光策画内核的采用远不是决定性身分。

六、量化压缩：省内存的甘愿能否竣事，取决于谁来推行

明确了L4的瓶颈是内存带宽之后，谈论团队转向了一个天然的优化标的：量化压缩。浅近来说，模子权重默许用16位浮点数（bf16）存储，淌若改用4位整数（int4）存储，表面上能把内存占用压缩到本来的约四分之一，内存读取速率也应该快粗略四倍。

谈论团队在L4上用Qwen-2.5-7B测试了三种不同的量化决议。最初是bitsandbytes的nf4决议，这是一种往常使用的4位量化用具，间隔每步生成耗时59.36毫秒，险些和原始的bf16（62.32毫秒）没什么分歧，提速只须约1.05倍。原因在于这个用具的实现步地：它并莫得真实用4位花样作念矩阵乘法，而是先把4位数据现场解压回16位，再用16位作念策画——等于说数据读进内存时照旧4位，松弛了读取时刻，但解压和策画又把时刻还且归了。

AutoAWQ加上Marlin内核的组合推崇好一些，耗时45.24毫秒，提速约1.38倍。这种决议如真是4位花样下告成作念矩阵乘法，但问题在于Marlin内核是为英伟达Ampere架构（SM80，即A100那一代）优化的，而L4使用的是Ada Lovelace架构（SM89），两者的硬件指示集有各异，Marlin在L4上无法施展出最好效能。

真实的冲破来自第三个决议：ExLlamaV2，一个挑升为Ada架构的4位整数矩阵策画优化的运行时。它把每步生成时刻压缩到了17.36毫秒，比拟bf16的62.32毫秒，提速达3.59倍，三次孤苦测试的间隔精准到少许点后三位（17.361、17.368、17.360毫秒），极其认知。此时R_floor也从bf16的0.82提高到了0.754，说明ExLlamaV2如实把4位量化的带宽松弛落实到了推行速率提高上。

这个间隔揭示了一个伏击的工程现实：量化压缩的表面收益能否酿成推行速率提高，重要不在于用了几位的量化，而在于具体的内核实现是否针对运行的硬件作念了优化。通常是4位量化，三种实现决议的推行速率收支高达3.4倍。对于部署在L4这类Ada架构开导上的团队来说，用具采用的伏击性远超显卡升级。

七、把这一切放在一皆：被倒置的资本效益排行

把上述整个发现综合起来，就取得了这篇谈论最具实用价值的论断：旧例意旨上的"硬件升级旅途"，在单流单任务的AI推理场景下，并不是资本效益的最优旅途。

以Modal云平台2026年5月的公开订价为参考，H100每小时3.50好意思元，L4每小时0.30好意思元，收支约11.7倍。从性能上看，L4用ExLlamaV2的最好确立不错作念到17.36毫秒每步，H100用CUDA图的最好确立不错作念到11.78毫秒每步，H100只比L4快约1.47倍。但H100的价钱是L4的约11.7倍。换算成每百万个词的办事资本，L4约需1.44好意思元，而H100约需11.45好意思元，收支约8倍。

这意味着，对于机器东说念主、车载话语助手、旯旮开导这类只需要单流推理的应用场景，用8台L4（合作相宜的量化决议）所能提供的算力，远远超越1台H100，而资本险些交流。

谈论中还包含了一个细节：H100在批次大小为4（同期办事4个对话）时，CUDA图的提速成果从1.259倍下落到了1.110倍，跟着崎岖文长度加多进一步下落到1.036倍。这是因为批次越大，每步策画的推行责任量越多，相对而言启动支出的占比就越小。而L4在批次4时告成因为内存不及而无法运行（模子权重加上4个会话的缓存超越了24GB显存上限）。这也说明，文中的倒置资本排行只在批次为1的单流场景下成立，一朝参预巨额次高浑沌场景，H100的上风从头深切。

八、实验想象的严谨性与局限性

这篇谈论在程序论上作念了格外致密的限制。每组测量都先进行5次预热，再集合测量30步取中位数，有用遗弃了偶发性的噪声。H100的中枢数据还跑了10次孤苦容器测试来说明认知性，其中"热身变异悉数"（反馈团结次测试内的波动）仅0.9%（普通模式）和0.2%（CUDA图模式）。

不外谈论团队也明确指出了若干罢休。整个测量都在Modal云平台的特定容器环境中完成，底层驱动版块未知，存在宿主机噪声。整个间隔都局限于7到8B参数目的GQA架构模子、128维刺眼光头、bf16数据类型（量化实验仅限L4），以及单词一一世成的解码模式，不涵盖推测解码、并行采样等变体。测试的GPU也只须英伟达四款，不包括AMD、苹果或英伟达新一代Blackwell架构。

此外，有一项竞品时候FlashDecoding++在论文中被说起但无法复现——该时候的论文宣称在某些场景下能实现1.37倍的加快，但其源码于今未公开，关系集成央求在社区也均无进展，谈论团队只可用FlashAttention-3和FlashInfer动作替代对比，无法告成与FlashDecoding++的间隔对比。

谈论还不雅察到一个趣味的自得：Qwen-2.5-7B在L4的长崎岖文测试中出现了内存溢出（OOM），但表面上模子回绝存的总大小应该在L4的24GB显存范围内。深入访问后发现，这是测试剧本的左券问题：CUDA图测试需要先分拨一块静态缓存，但这个分拨发生在普通模式测试收尾、内存尚未开释的时刻，导致双重占用而溢出——并非显卡真的装不下，而是测试圭臬的想象问题。单独跑普通模式时，L4 ctx=8192的Qwen-2.5-7B能正常运行，峰值显存23.24GB。

说到底，这篇谈论作念的是一件相当求实的事：把恒久以来工程界"买更好的卡就更快"这个直观拿出来仔细搜检，发现它在单流AI推理这个重要场景下是不完整的。H100的内存如实快得多，但快到它我方的CPU指示转化跟不上趟，大量时刻在恭候而不是在算。L4的内存天然慢，但只须把量化用具选对了——具体来说是用ExLlamaV2而不是AutoAWQ或bitsandbytes——它能以八分之一的价钱提供相当接近H100的单会话响应速率。

对于正在为机器东说念主、自动驾驶、旯旮AI开导权略推理算力的团队来说，这个发现很可能告成影响硬件采购决策。天然，一朝业务需要同期办事多个并发用户（批次大于1），这个论断就要从头评估了，因为L4的显存上限会率先成为落魄。

这项谈论辅导咱们，在AI系统工程畛域，直观常常需要用数据来翻新。对速率的甘愿最终要落实到具体硬件、具体软件、具体使用步地的交叉点上，任何一个枢纽莫得对皆，表面上的上风就可能袪除在列队等候里。感风趣的读者不错通过arXiv编号2605.30571查阅完整原文，整个实验的原始数据文献也随论文一并公开。

---

Q&A

Q1：L4显卡运行谎言语模子比H100慢些许？

A：在单个用户、逐词生成的场景下，L4合作ExLlamaV2量化决议每步约17.36毫秒，H100合作CUDA图约11.78毫秒，H100只比L4快约1.47倍，但H100价钱是L4的近12倍，是以L4的资本效益反而更高。

Q2：CUDA图时候在整个显卡上都有用吗？

A：不是。CUDA图在H100上成果显贵，能提速约1.26倍，因为H100的瓶颈适值是CPU指示启动支出。但在L4上险些无效，提速只须1.028倍，因为L4的瓶颈是内存带宽，减少启动恭候对合座速率匡助甚微。

Q3：AutoAWQ和ExLlamaV2都是4位量化，为什么速率差这样多？

A：AutoAWQ使用的Marlin内核是为英伟达Ampere架构（A100那代）优化的赛马投注app，在L4所用的Ada Lovelace架构上效能不及，推行提速只须1.38倍。ExLlamaV2的整数矩阵策画内核挑升针对Ada架构调优，能真实把4位量化的带宽松弛滚动为速率，实现3.59倍提速。