网络大模型十大问题白皮书.pdf

摘要
作为6G的研究热点,网络与AI被ITU-R正式提出作为6G的6大场景之一。其一直以来受到学术和工业界的广泛关注,6GANA也提出了网络AI的理念并展开了深入的研究。而随着大模型的兴起以及其在各行业表现出来的强大潜力,可以预见到大模型也将在6G网络中扮演重要的角色,相关的研究也将逐渐进入高发期。本白皮书将首先对网络大模型(NetGPT)给出明确的定义,随后从基础理论、场景需求、网络架构、部署管控、数据治理等方面系统阐述NetGPT的10大重点研究问题,分析潜在的研究路线,希望能够为后续的NetGPT的相关工作指引方向。1.背景
ITU-R WP5D第44次会议正式通过了《IMT面向2030及未来发展的框架和总体目标建议书》,作为6G研究的一个重要的里程碑,代表了全球的6G愿景共识,其中AI与通信融合被作为6大关键场景之一,与6GANA提出的Network AI理念不谋而合。
随着大模型的颠覆性发展,AI在自然语言处理、计算机视觉、语音识别等领域的任务处理能力得到了极大的突破。特别是大语言模型,如ChatGpt,能够准确识别并理解用户的意图,为用户提供问题,生成文本等,并在结合多模态技术后不断向更多领域拓展。可以预计,大模型将会成为AI通信融合的关键组成部分。在提高网络中AI的通用性和多任务处理能力等方面发挥重要作用。
然而我们需要意识到,大模型与AI在应用上是有着很大不同的。在以往AI模型的使用上,是通过收集大量的数据然后从头训练模型,因此需要关注是如何针对具体任务设计模型结构、网络如何收集需要的数据,网络如何为AI模型的训练推理提供算力和算法支撑等。大模型在应用上,是以预训练基础模型为底座,通过各种策略,如prompt,fine-tune以及向量库等方式来适配各类具体任务。另外,大模型意图理解和涌现能力,也给大模型的应用带来了更多的可能性,例如可以实现基于意图的编排,调用各种工具实现具体任务等。同时,大模型的巨大参数量和算力需求,也为其在网络中的应用带来了新的挑战。为此,我们需要重新梳理大模型和网络结合这个领域中的关键问题,为后续的研究指明方向。
2.网络大模型的定义
大模型将在运维、执行、验证等方面为移动网络服务。通过整合通信知识,大模型可以帮助检测故障和生成解决方案。随着网络服务的多样性和复杂性,大模型可以用来编排和调度任务流程,还可以进行性能优化、环境预测、资源分配等。通过出色的生成能力,大型模型有望在验证阶段发挥重要作用,如室外复杂环境的通道生成、高铁场景模拟等。因此,我们将无线通信网络中使用的大模型定义为网络大模型(NetGPT)。
由于无线通信网络包含RAN/CN/OAM这些不同的技术域,他们在功能特性、数据结构、以及性能需求上都有着明显的区别。例如,应用在运维领域的模型可能与NLP领域LLM类似,可以直接对LLM进行微调得到;而应用于空口的模型与自然语言完全是另一套体系。因此,NetGPT并不是一个单一模型通配所有网络场景,而是一系列模型的组合。需要注意的是,这种组合并不是简单的将孤立的模型摆放在一起。我们为NetGPT建立了三层模型,即L0,L1和L2。其中,LO代表全网通用大模型;L1代表网络不同领域大模型,如RAN/CN/OAM域大模型;L2代表特定场景下的网络模型,如信道预测或者负载均衡等,如图1所示。
NetGPT在通用性、基础性和规模上,都是传统各网元各自训练出的特定场景模型所不能相比的。通用性上,NetGPT-L0要能在全网各领域通用,包含是电信领域的基础知识,NetGPT-L1的通用性就差一些,局限在对应的领域内;基础性指的是能够通过few-shot甚至zero-shot就很好的适配到下游任务上,这一点NetGPT-L0/1都要具备,特别是L1,要能够作为NetGPT-L2的基础模型,通过各种策略来快速适配到新的场景中去,不再需要从头开始训练L2。而在模型规模上,NetGPT-L0/1的参数量要满足大模型的基准门限,目前业界普遍的看法是,产生智能涌现的最少参数量在70亿。NetGPT-L2的参数量可以小很多,方便其部署在网络边缘和端侧。

本文来自知之小站

 

PDF报告已分享至知识星球,微信扫码加入立享3万+精选资料,年更新1万+精选报告

(星球内含更多专属精选报告.其它事宜可联系zzxz_88@163.com)