云厂商推出推理专用算力池

推理负载具有突发、碎片化和低延迟要求，传统训练型资源池难以匹配。云厂商通过模型卸载、批处理、KV缓存和智能调度提高GPU利用率，并推出按Token或调用量计费。该模式适合AI应用开发者，但也带来供应商锁定和跨云迁移成本。对上游GPU租赁市场，推理池可能改变闲置卡交易价格。