智源研究院發布LM-Cocktail模型治理策略 低成本提升模型性能

站長之家(ChinaZ.com) 12月11日 消息:智源研究院最近發布了 LM-Cocktail 模型治理策略，旨在為大模型開發者提供一個低成本持續提升模型性能的方式。

該策略通過融合多個模型的優勢，實現在目標任務上性能的提升，同時保持在通用任務上的強大能力。

LM-Cocktail 可以幫助開發者將多個模型的優勢能力匯總起來，生成一個具備多種特長的 “多技能” 模型。通過少量樣例計算加權權重，可以融合現有模型，無需重新訓練。

這種策略對于缺乏目標任務標簽數據或計算資源的開發者尤為有用。LM-Cocktail 的核心是將微調后的模型與多個其他模型的參數進行融合，整合多個模型的優點，提高目標任務的準確度，同時保持在其他任務上的通用能力。

目前，LM-Cocktail 已在實驗中展現了良好的性能。

論文 ：https://arxiv.org/abs/2311.13534

代碼 ：https://github.com/FlagOpen/FlagEmbedding/tree/master/LM_Cocktail

項目地址：https://github.com/FlagOpen/FlagEmbedding/tree/master/LM_Cocktail

（舉報）