StateBench: Testing how language models track state changes over long documents

LLMが長文における状態変化を追跡する能力を評価する新しいベンチマーク「StateBench」が発表された。

これは、モデルの推論能力やコンテキスト理解の限界を測ることを目的としている。