在2023年6月首次发布的《人工智能大模型体验报告》基础之上,本次测评在题目设计、对标Benchmark(人类)、打分权重、专家测评团队四大维度进行了全面升级。在题目设计方面,测评题目由300道扩展至500道,并进一步完善了题目分类;在对标Benchmark方面,本次测评将接受过高等教育的人类作为对照,来考评大模型真实能力;在打分标准上,本次测评根据对产业、生活的实际价值,对四大测评维度进行了权重设计;在测评团队方面,本次测评特邀北京大学文化与传播研究所及其他业界、学界专家全程参与。
通过本次测评发现,与2023年6月相比,当前中国大模型产品进步显著。但与接受过高等教育的人类相比,大模型在智商、情商等方面还存在一定程度差距。具体来看,科大讯飞的星火在工作提效方面优势明显;百度文心一言地基深厚、基础能力仍处领军水准;商汤商量则在情商方面表现优秀;智谱AI的ChatGLM整体表现优秀。在本次体验测评的基础上,研究团队将继续深耕,加强在大模型安全可解释性、工作提效能力、实际落地情况、产业优秀案例等维度上的探索与研究,欢迎持续关注。
在2023年6月首次发布的《人工智能大模型体验报告》基础之上,本次测评在题目设计、对标Benchmark(人类)、打分权重、专家测评团队四大维度进行了全面升级。在题目设计方面,测评题目由300道扩展至500道,并进一步完善了题目分类;在对标Benchmark方面,本次测评将接受过高等教育的人类作为对照,来考评大模型真实能力;在打分标准上,本次测评根据对产业、生活的实际价值,对四大测评维度进行了权重设计;在测评团队方面,本次测评特邀北京大学文化与传播研究所及其他业界、学界专家全程参与。
通过本次测评发现,与2023年6月相比,当前中国大模型产品进步显著。但与接受过高等教育的人类相比,大模型在智商、情商等方面还存在一定程度差距。具体来看,科大讯飞的星火在工作提效方面优势明显;百度文心一言地基深厚、基础能力仍处领军水准;商汤商量则在情商方面表现优秀;智谱AI的ChatGLM整体表现优秀。在本次体验测评的基础上,研究团队将继续深耕,加强在大模型安全可解释性、工作提效能力、实际落地情况、产业优秀案例等维度上的探索与研究,欢迎持续关注。
中国大模型发展热度依旧,天眼查数据显示,截至2023年
上半年,与“大模型”直接相关的融资事件超20起,其中
包含光年之外、面壁智能等明星级创业企业;从被投企业
的地域分布来看,北京、上海以及杭州位居前列,特别是
北京,融资事件数量超10起,凸显出北京在人工智能领域
的领先地位。越来越多的企业和学术界开始关注如何将大
模型与实际应用场景相结合,实现真正的商业化应用。具
体来说探索主要围绕研究层面和应用层面:
· 研究层面,中国大模型在科研方面已形成涵盖理论、
方法、软硬件的体系化能力,学术界和产业界共同参
与,形成更加完善的理论框架。
应用层面,目前大模型已开始渗透到各行各业,实现
商业化应用。超过半数的大模型实现开源。
本文来自知之小站
PDF报告已分享至知识星球,微信扫码加入立享3万+精选资料,年更新1万+精选报告
(星球内含更多专属精选报告.其它事宜可联系zzxz_88@163.com)