ttok 1.0 发布

【AI 翻译 · 未评分】作者发布了 ttok 1.0。此前发布 ttok 0.4 后，发现默认使用 GPT-4 分词器而非预期的 GPT-5/GPT-6，因此决定切换默认值并发布 1.0 版本。OpenAI 尚未确认 GPT-6 是否使用与 GPT-5 系列相同的分词器，但 William Liu 的实验表明两者可能相同：所有七个 GPT 模型（5.5, 5.6 Sol/Terra/Luna, 6 Astra/Sol/Luna）在语料库上报告 44,794 个 token 且在 31 个测试用例中匹配，GPT-6 未引入输入计数变化。