Grammar-constrained decoding: Wie man LLMs zwingt, bei jedem Token valide Syntax auszugeben
LLMs halluzinieren Syntax, weil sie Tokens probabilistisch sampeln. Grammar-constrained decoding filtert das Vokabular in jedem Schritt, sodass nur Tokens emittiert werden, die die syntaktische Gültigkeit erhalten.
