grammar

文法制約付きデコーディング: すべてのトークンでLLMに有効な構文を出力させる

LLMはトークンを確率的にサンプリングするため、構文を幻覚させる。文法制約付きデコーディングは各ステップで語彙をフィルタリングし、構文的妥当性を保つトークンのみを出力する。