grammar

语法约束解码: 让每个 token 都强制 LLM 输出有效语法

LLM 会对语法产生幻觉，因为它们以概率方式采样 token。语法约束解码在每一步过滤词表，只输出保持语法有效性的 token。