grammar

문법 제약 디코딩: 모든 토큰에서 LLM이 유효한 구문을 출력하도록 강제하기

LLM은 토큰을 확률적으로 샘플링하기 때문에 구문을 환각한다. 문법 제약 디코딩은 각 단계에서 어휘를 필터링하여 구문적 유효성을 유지하는 토큰만 출력되도록 한다.