HuggingFace 提出約束感知 GPU 分配器，取代 FIFO 使利用率最高提升 33%

HuggingFace 發表技術文章，介紹一款約束感知 GPU 分配器（constraint-aware GPU allocator），在相同硬體與工作負載下，對比傳統 FIFO 排程器，GPU 利用率最高提升 33 個百分點。在 7 個基準測試場景中，新分配器使 GPU 利用率從 52–85% 區間提升至 72–88%，優先級加權輸出平均提升 52%，最高達 105%。 傳統 FIFO 排程器為確保即時推論（real-time inference）可用性，會按全天最高峰值保留 GPU，導致離峰時段算力閒置；且按任務到達順序分配，會使高優先級任務因資源被佔用而等待。新分配器將即時推論需求視為動態曲線，在需求低谷動態排入訓練、批次推論與量化等需要連續 GPU 區塊的任務，並改以全局優先級取代先到先得規則，從而回收閒置算力。