通義千問720億參數模型宣布開源,部分性能超越閉源GPT-4
導讀: 新浪科技訊 12月1日午間消息,阿里云通義千問720億參數模型Qwen-72B今日宣布開源。該模型基于3T tokens高質量數據訓練,在10個權威基準測評中奪得開源模型最優成績,在部分測評中超越閉源GPT-3 5和GPT-4。
新浪科技訊 12月1日午間消息,阿里云通義千問720億參數模型Qwen-72B今日宣布開源。該模型基于3T tokens高質量數據訓練,在10個權威基準測評中奪得開源模型最優成績,在部分測評中超越閉源GPT-3.5和GPT-4。
在英語任務上,Qwen-72B在MMLU基準測試取得開源模型最高分;中文任務上,Qwen-72B在C-Eval、CMMLU、GaokaoBench等基準得分超越GPT-4;數學推理方面,Qwen-72B在GSM8K、MATH測評中斷層式領先其他開源模型;代碼理解方面,Qwen-72B在HumanEval、MBPP等測評中的表現大幅提升,代碼能力有了質的飛躍。
據介紹,Qwen-72B可以處理最多32k的長文本輸入,在長文本理解測試集LEval上取得了超越ChatGPT-3.5-16k的效果。研發團隊優化了Qwen-72B的指令遵循、工具使用等技能,使之能更好地被下游應用集成。比如,Qwen-72B搭載了強大的系統指令(System Prompt)能力,用戶只用一句提示詞就可定制AI助手,要求大模型扮演某個角色或者執行特定的回復任務。
隨著Qwen-72B的開源,通義千問還開源了18億參數模型Qwen-1.8B和音頻大模型Qwen-Audio。至此,通義千問共開源18億、70億、140億、720億參數的4款大語言模型,以及視覺理解、音頻理解兩款多模態大模型。
責任編輯:zsz