半导体行业跟踪报告之二十:边缘算力SoC:AIoT智能终端的大脑,端侧算法部署的核心

1、 SoC:智能终端设备的大脑,边缘算力的核心
芯片系统(System-on-Chip,SoC)是一种集成电路,将一个系统所需的所有组件压缩到一块硅片上。SoC可以分为高性能应用处理器、通用应用处理器、人工智能视觉处理器、智能语音处理器、车载处理器、流媒体处理器等。上述处理器一般内置中央处理器(CPU),根据使用场景的需要增加图形处理器(GPU)、图像信号处理器(ISP)、神经网络处理器(NPU)及多媒体视频编解码器等处理内核。芯片内部设置高速总线负责各个处理器和外部接口的数据传输。配备闪存接口、动态存储器接口、显示接口、网络接口以及各种高速、任速外部设备接口。
SoC的关键技术主要包括总线架构技术、IP核可复用技术、软硬件协同设计技术、SoC验证技术、可测性设计技术、低功耗设计技术、超深亚微米电路实现技术,以及嵌入式软件移植、开发研究,是一门跨学科的研究领域。SoC意味着在单个芯片上实现以前需要多个芯片才能实现的系统功能,克服了多芯片板级集成出现的设计复杂、可靠性差、性能低等问题,并且在减小尺寸、降低成本、降低功耗、易于开发等方面也有突出优势。SoC对研发设计、制造工艺以及软硬件协同开发技术的要求较高,主要体现在芯片验证和测试难度的提高,以及IP复用、混合电路设计的困难加大。任何SoC的设计都是性能、功耗、稳定性、工艺难度几方面的平衡。

 

2、 边缘算力应用和端侧AI算法部署需求巨大
AI将提升社会劳动生产率,特别是在有效降任劳动成本、优化产品和服务、创造新市场和就业等方面为人类的生产和生活会带来革命性的转变。可以认为,AI是一个重要的生产力工具,AI通过与各行各业结合,赋能各行各业。在自动驾驶、智能家居、安防监控、机器人、医疗设备、智慧课堂等新兴行业中,人工智能的技术创新和应用落地是行业智能化的推手。此外,AI交互、AI创作等应用场景发展迅速,如自然语言处理工具ChatGPT的问世,有望进一步推动行业智能化程度不断提升。
AI技术必须具备三个要素:算法、数据、算力。
(1)数据:AI蓬勃发展主要是得益于大数据的累积以及AI专用算力的大幅增强。
(2)算力:过去10年,AI领域主要的算力载体是以国外芯片厂商提供的GPU设备为主,广泛应用于与Al相关的云端产品。而端侧嵌入式AI算力载体从CPU、GPU、DSP发展到ASIC架构,推动了基于深度学习的语音识别、人脸识别、图文识别、AIGC、日标检测、超分辨率、ADAS等技术的广泛应用。
(3)算法:模型算法架构持续迭代,Transformer神经网络结构逐渐成为自然语言处理领域的主流,如ChatGPT是其应用之一,主要用于云端产品,各算法厂商开始尝试应用到端侧产品,对端侧算力性能提出了更高的要求,这将推动AI算力的发展。从AI算法模型到端侧A部署应用的落地,需要解决很多技术问题,如模型转换、量化、推理框架、算子融合、算子适配(自定义算子开发)等等。这不仅需要性能优越的算法模型以及可靠的高性能任消耗(任带宽低内存任功耗)硬件加速器,还需要通过AI编译器把算法模型转化成硬件设备能识别的表达式进行算法部署,再应用到具体的应用场景,满足用户的体验需求。在算法部署过程,算法开发应用算子级API和网络级API、支持量化感知训练模型导入等加速算法开发效率和应用落地效率。
CPU是通用处理器,设计用于执行广泛的计算任务。它具有强大的灵活性和可编程性,但可能在特定任务(如AI计算)上效率不高。GPU最初设计用于处理图形和视频渲染,它擅长处理并行计算任务,因此在AI领域也得到了广泛应用。然而,GPU并非专门为AI计算设计,它在处理某些类型的AI任务时可能不如NPU高效。CPU是线性、串行任务(指令)执行,效率较低,通用性较高;GPU是并行处理和专用国形并行处理,效率更高;而NPU则是“并行认知处理”,在AI机器学习方面,效率更高。

本文来自知之小站

 

PDF报告已分享至知识星球,微信扫码加入立享3万+精选资料,年更新1万+精选报告

(星球内含更多专属精选报告.其它事宜可联系zzxz_88@163.com)