constrained-generation

語法約束解碼: 讓每個 token 都強制 LLM 輸出有效語法

LLM 會對語法產生幻覺，因為它們以機率方式採樣 token。語法約束解碼在每一步過濾詞表，只輸出保持語法有效性的 token。