Hugging Face 據報發布 tokenizers v1，主打多執行緒擴展與極小化套件體積

據 Reddit 社群消息，一名自稱 Hugging Face 員工的開發者宣布，官方已正式發布 `tokenizers` 函式庫的 v1 版本。該版本經歷了重大變更，本次更新的三大重點包含：新增多語言支援、多執行緒擴展（multi-thread scaling）能力，以及極小化的套件體積。相關細節據稱已發布於 Hugging Face 官方部落格。