32 位研究員耗時 8 個月發表 NLP Tokenization 綜合調查報告，涵蓋演算法與替代方案

據 Reddit 社群消息，32 位研究員耗時約 8 個月，共同發表了一份針對現代 NLP 領域中 Tokenization 技術的綜合調查報告。該報告指出 Tokenization 雖對整個 NLP 領域影響深遠，卻長期缺乏充分研究。報告內容涵蓋 Tokenization 的各個面向，包含演算法、評測方式、多語言處理、編碼與理論基礎。此外，研究團隊也探討了潛在（latent）與視覺化 Tokenization 等替代方案，並延伸討論受限生成（constrained generation）、Token 修復（token healing）以及相關的資安風險。