HuggingFace 發布 tokenizers v1 候選版：導入 SIMD 與無記憶體分配架構，速度較前代提升數十倍

HuggingFace 發布 tokenizers v1 候選版（Release Candidate），其編碼與解碼速度較 v0.23 提升達數十倍。v1 版本維持與 v0.23 完全相同的輸出、API、詞表與合併排名，並繼續支援 BPE、WordPiece 與 Unigram 模型。 此次效能提升來自六項核心架構改動： - **Bitcannon**：針對 BPE 模型，以 SIMD 指令與位元流布林運算取代傳統正規表示式引擎來分割 pre-token，每次暫存器操作可處理 64 位元組。 - **無記憶體分配模型（No-alloc model）**：合併工作集存放於呼叫者擁有的暫存緩衝區，迴圈執行期間完全不觸碰記憶體分配器。 - **合併迴圈重寫（Merge-loop rewrite）**：在預先分配的緩衝區內建立侵入式雙向鏈結串列，合併時僅需更新兩個索引而無需搬移資料。 - **單字快取（Word cache）**：引入執行緒區域快取，記錄 pre-token 位元組與對應 ID，使重複出現的單字只需合併一次。 - **原生平行處理（Native parallelism）**：單一共享 tokenizer 可同時供多個執行緒編碼，各執行緒擁有獨立的暫存緩衝區與快取子池，消除單一鎖的排隊瓶頸。 - **工作區拆分（Workspace split）**：將單一 crate 拆分為 workspace，僅在需要時才連結序列化與訓練模組，使 tk-encode 成為輕量化的核心執行階段。