把評估標準拆成問題，LLM judge 才有辦法被信任
做 LLM 評估快兩年了，一直有個困擾：每次跑完 G-Eval 或 UniEval，看到那個 0-5 的整體分數，根本不知道出了什麼問題。
是生成太長？還是邏輯不連貫？還是只是措辭不夠好？分數本身沒有告訴你任何可以 act on 的東西。改 prompt 靠直覺，debug 靠猜，這個循環做了很多次，效率一直很低。
最近在 arXiv 上看到一篇 BINEVAL 的論文，提出了一個很不一樣的思路：與其讓 LLM judge 直接打一個 holistic 分，不如先把評估維度拆成一連串細粒度的 atomic binary questions，每個問題只需要 yes/no，最後再把答案聚合成多維分數。
聽起來很簡單，但我覺得這個設計方向是對的。
傳統整體打分到底哪裡出了問題
Holistic judge 的核心問題不只是「黑箱」，而是它在一個 prompt 裡要求 LLM 同時做太多事：理解任務上下文、內化評估標準、衡量輸出品質、輸出一個數字。每個環節都可能出錯，但你完全看不到錯在哪。
我在自己的 thesis 實驗裡就遇過這狀況。同一份輸出，換個 judge model，分數差了快 1.5 分，但你問它為什麼，它給你的理由是完全不同的事情。那個分數到底在衡量什麼，其實沒有人確定。
這不是 judge 不夠強，而是整體打分這個任務本身定義得太模糊。
Binary questions 的設計邏輯
BINEVAL 的核心在一個叫 meta-prompt 的設計：先讓 LLM 根據評估維度（例如 coherence、consistency、fluency）自動產生一組 binary questions，然後再逐題判斷。
比如 coherence 可以被拆成：「段落之間的邏輯順序是否合理？」、「最後一段有沒有呼應開頭的主題？」這些問題都是 yes/no，LLM 不需要在一個 prompt 裡做多維度的複雜權衡，判斷難度低很多，也更不容易出現 position bias 或 verbosity bias 的問題。
在 SummEval、Topical-Chat、QAGS 這幾個 benchmark 上，BINEVAL 的表現不輸甚至優於 UniEval 和 G-Eval。但老實說，分數高低對我來說不是最有趣的部分。
真正改變工作流的是 feedback 結構
BINEVAL 更有意思的地方在於：這些 question-level 的結果可以直接拿來修 prompt。哪個問題的 yes 比例低，就代表你的輸出在哪個維度還不夠，針對那個問題去優化就好。
這讓整個 prompt evaluation 的工作流可以從「跑 A/B、看整體分、用直覺猜改哪裡」，變成「定義評估維度 → 拆成 binary questions → 拿到 question-level feedback → 針對低分維度調 prompt」。
評估結果不再只是一個判決，而是一份可以照著走的 debug list。
這對做 product QA 的人影響可能更大。很多時候 QA 流程卡住不是因為沒有 judge，而是因為 judge 說「這個不好」之後你不知道下一步要做什麼。BINEVAL 的框架在某種程度上回答了這個問題。
還沒有答案的部分
Meta-prompt 自動產生的 binary questions 品質是否夠穩定？不同任務類型需要的問題集差異很大，這個自動化流程在 domain shift 的情況下表現如何？論文裡的實驗場景相對集中，還需要更多 real-world 驗證。
另外，各個維度的 weight 怎麼設定這個問題也還沒被充分討論。現在是簡單聚合還是可以根據任務調整？這對實際落地很重要。
不過整體來說，BINEVAL 這個方向讓我覺得 LLM evaluation 的研究終於在往「可以真正被使用」的地方走了。評估本身不是終點，能從評估結果知道怎麼改才是。
作者：陳思維