迈向智能世界白皮书2023—计算.pdf

2015年CV类视觉识别超过人类,可部分替代人眼/耳,主要用于物体识别和发现,催生了千亿级智能安防产业。

2022年底基于NLP的ChatGPT学会思考会学习,用于理解和生成,GPT-4已初步具备自主学习和思考能力,在文本/图像/音频/视频/代码等脑力劳动场景中已达到人类80%的水平,可替代较高端脑力劳动工作。

Transformer结构在图、文、音多个领域表现优异,大模型的基础架构向Transformer结构收敛,大量基于Transformer结构的大模型涌现。

Al大模型技术快速发展,Al算法与应用的开发、上线部署与业务发放等过程均大幅简化,有大量开源可用的开源大模型,有丰富的大模型微调算法,主流框架均支持低代码的开发构建大模型的能力,业界主流厂商联合发布大模型的一体机。

Scaling Law尚未见顶,万亿多模态大模型是新的热点,模型表现强烈依赖于模型规模,随着计算量、数据量和参数量提升而提升;相同参数下,更深的模型拥有更好的性能。多模态数据成为大模型训练主要数据,对于算力需求是文本数据的百倍,大模型算力需求6个月翻一番的趋势,预计至少持续到2030年。

本文来自知之小站

 

PDF报告已分享至知识星球,微信扫码加入立享3万+精选资料,年更新1万+精选报告

(星球内含更多专属精选报告.其它事宜可联系zzxz_88@163.com)