站長之家（ChinaZ.com）11月13日 消息:智源研究院開源了一種名為 JudgeLM 的裁判模型，可以高效準確地評判各類大模型。
與 GPT-4相比，JudgeLM 僅需1/120的成本，就能達到90% 以上的評判結果一致性。它可以應用于純文本、多模態等多種評判場景，并可以輸出評分、判斷和闡述理由。
通過創新方法，JudgeLM 與參考答案的一致性最高超過了90%，接近人類表現。JudgeLM 有三個不同參數版本，分別為70億、130億和330億參數，能力和表現隨著參數規模的增大而提升。
此外，智源研究院還開源了一個包含訓練和驗證樣本的數據集，用于深入研究大語言模型裁判。JudgeLM 的評判效率高，成本低于基于 API 的評判方法。
未來，JudgeLM 團隊將進一步完善這一裁判模型，提供更準確、高效、覆蓋更多場景的大語言模型評判。
JudgeLM 相關資源:
github :https://github.com/baaivision/JudgeLM
arxiv :https://arxiv.org/abs/2310.17631
demo（33B） :https://218.91.113.230:9004/
（舉報）