ttok 1.0 发布，默认分词器切至 GPT-5/GPT-6
热点事件观察中
ttok 1.0 发布，默认分词器切至 GPT-5/GPT-6
1 篇报道1 个报道来源2 天前更新
先了解这件事
AI 综述
Simon Willison 发布 ttok 1.0，将默认 tokenizer 从 GPT-4 切换为 GPT-5/GPT-6。 Willison 称，OpenAI 尚未确认 GPT-6 与 GPT-5 系列使用同一分词器，相关 issue 中有人对此不满；他引用 William Liu 的一次实验提交称，七个 GPT 模型（5.5、5.6 Sol/Terra/Luna、6 Astra/Sol/Luna）均报告 44,794 个 token，并在全部 31 个测试样本上彼此一致，因此这些分词器很可能相同。
AI 根据报道生成 · 13 小时前更新
报道时间线
沿着报道，了解事件的不同侧面。
10月9日
- Simon WillisonSimon Willison 发布 ttok 1.0，默认 tokenizer 从 GPT-4 切换至 GPT-5/GPT-6
Simon Willison 发布 ttok 1.0，将默认 tokenizer 从 GPT-4 切换为 GPT-5/GPT-6。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。