# SIMD

Hugging Face tokenizers v1：Bitcannon与缓存优化

Hugging Face发布tokenizers v1，重构底层实现以提升性能。新版本保持向后兼容，确保GPU不因等待CPU分词而闲置，解决大规模训练与高并发场景下的吞吐量瓶颈。