基础的生成算法模型是驱动Al的关健
2014年，伊思·古德费洛(an Goodfelow)提出的生成对抗网络(Generative Adversarial Network,GAN)成为平期最为著名的生成模型。GAN使用合作的零和博奔框架来学习，被广泛用于生成图像。视频。语音和三维物体模型。随后，Transfomer、基于流的生成模型(Flow-based models)、扩散模型(DifusionModel)等深度学习的生成算法相继涌现。
Transfomer模型是一种采用自注意力机制的深度学习模型，这一机制可按输入数据各部分的重要性分配权重，可用于白热语言处理(NLP)、计算机视觉(CV领域应用，后来出现的BERT、GPT-3、laMDA等预训雌模型都是基于Transformer模型建立的。预训练模型引发了AI技术能力的质变
预训阵模型是为了完成特定任务基于大型数据集训辉的深度学习模型，证A模型的开发从手工作坊走向工厂模式。加建A技水落地。2017年，Google顺覆性地提出了基于白注意力机制的神经网络结构——Transformer架构，奠定了大模型预训练算法架构的基础2018年，OpenAI和Google分别发布了GPT-1与BERT大模型，意味着预训炼大模型成为自熟语言处理领域的主流。
本文来自知之小站
PDF报告已分享至知识星球，微信扫码加入立享3万+精选资料，年更新1万+精选报告
（星球内含更多专属精选报告.其它事宜可联系zzxz_88@163.com）
