·经过题海战术提巨大模型成果，关于模型实践才能的反应是失真的，影响了模型研制团队的改善方向和模型的商业落地，“高分低能”损伤的是组织自身。

  ·国内大模型比较GPT-4还存在距离，推理、数学、代码、智能体是国内大模型短板，中文场景下国内最新大模型已展示出优势。

  OpenCompass2.0大言语模型中英双语客观评测前十名（选用百分制）。商用闭源模型经过API方法检验，开源模型直接在模型权重上检验。

  在一众企图“逾越GPT”的大模型中，哪个大模型实力最强？大模型跑分、刷榜，怎么测评大模型线日，大模型开源敞开评测体系司南（OpenCompass2.0）揭晓了2023年度大模型评测榜单。对过去一年来干流大模型全面评测诊断后，成果显现，GPT-4-Turbo在各项评测中均获最佳体现，国内厂商近期发布的模型紧随其后，包含智谱清言GLM-4、阿里巴巴Qwen-Max、百度文心一言4.0。

  评测是大模型的指挥棒和指南针，OpenCompass为模型供给评测服务，量化模型在常识、言语、了解、推理和考试等五大才能维度的体现。全体看来，大言语模型全体才能仍有较大提高空间，杂乱推理相关才能仍是大模型遍及面对的难题，国内大模型比较于GPT-4还存在距离。中文场景下国内最新大模型已展示出优势，在部分维度上挨近GPT-4-Turbo的水平。

  OpenCompass于2023年7月由上海人工智能实验室在世界人工智能大会上推出，现在晋级为OpenCompass2.0，结构了一套中英文双语评测基准，包含言语与了解、常识与逻辑推理、数学核算与使用、多编程言语代码才能、智能体、创造与对话等方面。

  根据言语、常识、推理、数学、代码、智能体等六个维度，OpenCompass2.0构建了超1.5万道高质量中英文双语问题，并引进创始的循环点评（Circular Evalution）战略，体系剖析了国内外大模型的归纳客观功能。

  在百分制的客观评测基准中，GPT-4 Turbo仅到达61.8分的及格水平。此成果为，杂乱推理仍然是大模型面对的重要难题，要进一步的技术创新来霸占。

  在归纳性客观评测中，智谱清言GLM-4、阿里巴巴Qwen-Max和百度文心一言4.0具有较为均衡和全面的功能，这些模型在言语和常识等根底才能维度上可比肩GPT-4 Turbo。

  推理、数学、代码、智能体是国内大模型的短板。GPT-4 Turbo在触及杂乱推理的场景尽管也有提高空间，但已显着领先于国内的商业模型和开源模型。国内大模型要全体赶超GPT-4 Turbo等世界顶尖的大模型，在杂乱推理、可靠地处理杂乱问题等方面仍需下大功夫。

  根据言语、常识、创造、数学与推理等五个维度，OpenCompass2.0构建了超500道高质量中文问题，选用根据大言语模型对战的方法评测干流模型在敞开场景下的对话体会。

  “片面评测中，最难的是片面的数学题，不能靠猜答案。”上海人工智能实验室领军科学家林达华表明，榜单中，GPT-4 Turbo的数学才能遥遥领先，阐明在高难度的推理上具有优势。

  根据片面评测剖析，研究人员还发现，国内商用大模型在中文评测中体现优异，和GPT-4 Turbo距离缩小。阿里巴巴Qwen-Max、智谱清言GLM-4、百度文心4.0都取得了优异成果。在中文言语了解、中文常识和中文创造上，国内商业模型比较GPT-4 Turbo有更强的竞争力。

  开源社区的Yi-34B-Chat、InternLM2-Chat-20B在归纳性对话体会上体现杰出，它们以中轻量级的参数量、挨近商业闭源模型的功能，为学术研究和工业使用供给了良好根底。国内开源模型近期快速前进展示了开源模型的使用潜力，开源模型和开源东西体系的结合可帮企业快速实验大模型在使用场景的适用性。

  现在OpenCompass2.0已和合作伙伴一起推出了多个笔直范畴的评测基准和数据集，包含LawBench法令大模型评测基准、OpenFinData金融评测集、MedBench医疗大模型评测体系、SecBench网络安全大模型评测渠道等。

  “评测是大模型的指挥棒和指南针。”林达华教授表明，大模型评测要客观公允、评测方法科学、评测维度全面。OpenCompass2.0的评测维度包含根底才能和归纳才能两个层级，才能维度规划具有可扩展性和增长性，一起可根据未来的大模型使用场景进行动态更新和迭代。

  根底才能维度以言语、常识、了解、数学、代码为中心，包含目的辨认、情感剖析、内容点评与总结、多言语翻译、汉语与中国民间传统文化、常识百科、自然科学、人文社科、核算才能、数学使用才能、多编程言语代码等20余项细分使命。而归纳才能旨在调查模型在归纳运用常识、数学推理、代码东西等多种才能完结杂乱使命的水平。

  当时，一些大模型沉迷于刷榜、跑分。林达华表明，经过题海战术提巨大模型成果，关于模型实践才能的反应是失真的，影响了模型研制团队的改善方向和模型的商业落地，“高分低能”损伤的是组织自身。为此，实验室吸取了高考经历，提早发布“考试纲要”，但在第一期测评榜单发布前不揭露“考题”，下一期“考题”用于下一期测评，每一期标题不同，防止大模型直接刷题，然后发现才能长板与短板。未来也会考虑开发测评分集，关于高分考生，用更有应战、区分度更大的标题进行测评，凸显才能距离。

  “国内有许多模型正在发布的路上，榜单上任何详细的姓名仅仅大模型生长过程中无数次检验中的一次，一时的排名凹凸并不真实反映模型的才能，最重要的是每一次检验能够回过头来辅导咱们改善自己。”林达华表明。