为了应对DRL在AIGC边缘计算的任务卸载和资源分配所面临的问题，一种基于主动推理（Active I...

为了应对DRL在AIGC边缘计算的任务卸载和资源分配所面临的问题，一种基于主动推理（Active Inference，AIF）的推理框架在传统强化学习领域所展现出来的表现，使其逐渐有望成为一种高效的解决方案\upcite{friston2017active}。AIF是认知与计算神经科学中的一种新兴框架，它认为智能体的行为是为了最大化其生成模型的证据，而不是直接最大化奖励，重新定义了RL的优化目标（变分自由能），变分自由能是一个衡量生成模型与真实世界观测差异的量度，类似于信息论中的熵\upcite{friston2016active}。智能体通过最小化变分自由能来优化其行为策略，使得预测和感知结果之间的差异尽可能小。这种框架将奖励视为观察的先验概率分布，从而为智能体的目标设定提供了更大的灵活性，使智能体能够自适应探索未知环境，在不断变化的环境中自我调整其内部模型，以应对AIGC边缘计算的不确定性和动态变化。

AIF在AIGC边缘计算场景中的应用具有重要的研究意义，尤其是在任务卸载和资源分配方面。通过内省与自我调整，主动推理能够在动态和不确定的边缘计算环境中高效地优化任务卸载策略，提升系统性能，减少计算资源的消耗，并保证实时性。 AIF提供了一种更加灵活、高效的解决方案，边缘计算系统能够以更智能、更高效的方式处理复杂的 AIGC 任务，为未来的智能应用提供更强大的支持，具有重要的理论和实践意义。

本文研究着眼于实现应用更加广泛的AIF方法，结合DRL解决动态、复杂的AIGC边缘计算问题，通过研究和改进算法的建模方式，并引入新的模块，推动算法克服上述挑战，提高AIF与DRL相比在单智能体和多智能体任务卸载和资源分配场景下的性能，推动AIF在AIGC边缘计算领域的发展和应用。

润色一下，使条理更加清晰

主动推理在 AIGC 边缘计算中的计算卸载和资源分配研究的兴起，源于
AIGC 边缘计算场景的快速发展，以及强化学习和主动推理算法在多个领域的
成功应用。本节将从 AIGC 边缘计算、深度强化学习以及主动推理三个方面，综
述相关的研究现状。

润色一下，使条理更加清晰

源自于AIGC技术的快速发展，AIGC 边缘计算场景中的计算卸载和资源分配优化研究备受关注，以及强化学习与主动推理算法在多个领域所取得的成功。为全面梳理当前研究现状，本节将从 AIGC 边缘计算、深度强化学习以及主动推理三个方面进行综述。

润色一下，使条理更加清晰

AIGC 起源于 20 世纪 50 年代由计算机科学家图灵提出图灵测试，预示了 AI
在内容创造上的潜力 [16]。2013 年之后，变分自编码器（Variational Autoencoder，
VAE）和生成式对抗网络（Generative Adversarial Network，GAN）、变换器（Trans-
former）和扩散模型 (Diffusion Models, DM) 的先后提出成为 AIGC 发展的重要里
程碑 [17–20]。边缘计算最早可以追溯至 1998 年 Akamai 公司提出的内容分发网络
(Content Delivery Network，CDN) [21]。2016 年，Shi 等人正式定义边缘计算概念，
指出了边缘计算所面临的挑战 [22]。

润色一下，使条理更加清晰

早期边缘计算着重于小规模深度神经网络（Deep Neural Networks，DNN）的训练与推理。2017年，Chandakkar等人引入了修剪网络的再训练概念，将一些DNN计算转移到云基础设施的边缘，减少计算集群的负载\upcite{chandakkar2017strategies}。随后，Li等人提出了一种名叫Edgent的边缘协同DNN协作推理的框架，利用附近的混合计算资源进行实时DNN推理\upcite{li2018edge}。随着边缘计算和AIGC的不断发展，特别是大规模生成模型如GPT-3、DALL-E和Sora的推出，AIGC的应用从文本生成、图像生成扩展到更为复杂的音视频生成、3D建模等领域，模型参数量巨幅增加，二者的结合逐渐引起了学术界和工业界的广泛关注，边缘计算执行AIGC任务的概念也随之诞生\upcite{brown2020language,ramesh2021zero,liu2024sora,xu2024unleashing}。Du等人提出了将AIGC任务卸载视为动态的AIGC服务提供商（ASP）选择方案，并提出一种支持DRL的算法来优化ASP选择\upcite{du2023enabling}。Hu等人通过在边缘部署较小的模型CogVLM2和在云中部署较大的模型ChatGPT-4o，将多模态大预言模型实现协作驾驶辅助服务视为任务卸载问题，设计了一种基于DRL的任务卸载算法\upcite{hu2024cloud}。

润色一下，使条理更加清晰

DRL算法通过自主交互获取环境状态，并从这种交互中推导出最优决策策略，而不依赖于先验知识解决决策和控制问题。近年来，DRL在围棋、游戏、机器人等传统领域取得优异的性能，然而在高动态的边缘计算场景中仍面临数据效率低、性能不稳定和探索利用困境等挑战。

在单智能体的DRL边缘计算领域，Li等人考虑了一个多用户MEC系统，他们提出的基于Q学习（Q-learning）方法联合优化了MEC网络中的卸载决策和计算资源分配\upcite{li2018deep}。He等人使用异步优势演员-评论家（Asynchronous Advantage Actor–Critic，A3C）解决基于区块链的边缘计算支持的物联网场景的计算资源卸载问题\upcite{he2020blockchain}。Liu等人利用深度确定性策略梯度（Deep Deterministic Policy Gradient，DDPG）算法解决海上无人机群移动边缘计算网络中通信和计算的延迟最小化问题，联合优化无人机轨迹和计算资源分配\upcite{liu2022deep}。彭姿馀等人提出基于软演员批评者（Soft Actor-critic，SAC）算法解决多服务移动边缘计算问题，确定服务缓存和任务卸载的离散决策以及上下带宽和计算资源的连续分配决策\upcite{JSYJ202305033}。

在多智能体强化学习（Multi-Agent Reinforcement Learning，MARL）边缘计算领域，Lu等人将目标服务器选择和数据卸载量作为学习目标，结合了 DDPG 和 SAC 算法，实现了多智能体任务卸载\upcite{lu2020optimization}。He 等人则在基于无人机的 MEC 场景中利用多智能体双延迟深度确定性策略梯度(Multi-Agent Twin Delayed Deep Deterministic Policy Gradient，MA-TD3) 算法，优化了无人机的能量消耗和卸载决策\upcite{he2021multi}。Cao等人解决了在MEC支持的工业 4.0 中的多通道接入和任务卸载问题，采用了多智能体深度确定性策略梯度（Multi-Agent Deep Deterministic Policy Gradient，MA-DDPG）方案显著降低了计算延迟并提高了通道接入成功率\upcite{cao2020multiagent}。李斌使用基于多智能体近端策略优化（Multi-Agent Proximal Policy Optimization，MA-PPO）的方法联合优化任务划分、卸载关联、无人机轨迹和资源分配，解决多无人机辅助移动边缘计算问题\upcite{WXDG202312001}。

润色一下，使条理更加清晰

主动推理（Active Inference，AIF）的框架可以追溯到2006年，Friston提出了自由能原理，利用热力学的视角解释了生物系统的自我组织行为，为主动推理的数学基础奠定了重要基础\upcite{friston2006free}。这一理论的进一步发展发生在2010年，Friston提出了更为明确的主动推理框架，将生物体的感知、行动与预测编码整合为最小化自由能的过程\upcite{friston2010free}。相比DRL方法，主动推理强调智能体通过主动与环境交互来最小化对未来的不确定性，而非被动响应外部刺激。这一理论的提出开辟了智能体学习和决策的新途径。此后，主动推理理论持续发展，主动推理在多个领域取得了显著的成就，尤其在导航\upcite{ccatal2021robot}、机器人控制\upcite{pezzato2020novel}、游戏智能\upcite{tschantz2020reinforcement}等领域中取得了重要进展。

在理论层面，Tschantz等人提出了一种基于最大化短期信息增益的主动推理方法，该方法通过计算集成模型中的不确定性来近似自由能，从而提高智能体在机器人动作决策中的性能\upcite{tschantz2020reinforcement}。Himst等人将变分自编码器（VAE）扩展到主动推理框架中，采用VAE中状态之间的KL散度（Kullback-Leibler Divergence）来近似自由能，同时通过学习状态转移来优化智能体在游戏领域中的表现\upcite{van2020deep}。此外，王姝彦等人利用主动推理理论为人机交互中的信任机制探索提供了一种整合性的认知架构，旨在构建一种新的人机交互信任的实践路径\upcite{ZJSH202403010}。

近年来，主动推理在边缘计算方面也取得成功。Krayani以认知无人机的频谱分配为例，首次研究使用主动推理的认知无线电抗干扰资源分配策略，并取得了优于DRL的性能\upcite{krayani2022novel}。随后，Wang等人将AIF拓展至车辆网场景，并消除设计奖励函数的需要，
对低延迟和高带宽的车辆服务进行高效的资源分配\upcite{wang2024intelligence}。2023年，Fang等人提出了一种适用于AIGC计算任务卸载和资源分配的无奖励主动推理算法，解决大语言模型辅助的自动驾驶边缘计算问题，首次将主动推理引入到AIGC边缘计算领域中，并取得了优于深度强化学习的性能\upcite{fang2023large}。

润色一下，使条理更加清晰

第一，该部分工作面向主动推理和强化学习在单智能体多用户的AIGC多接入边缘计算场景下的视频扩散模型（Video Diffusion Model，VDM）任务所面临的探索利用困境和算法性能开展，本文在基于现有的主动推理算法的研究上，结合表征学习中的时序一致性的概念理论，提出一种基于时间一致性的主动推理方法（Temporal Consistency-Based Active Inference，TC-AIF）。本研究从主动推理理论出发，将高维的状态抽象为模型在时序尺度上的低维内在表征，通过基于余弦相似度自回归表征学习的方式使内在表征具有现实意义，此后智能体只需在内部模型中进行推理，而无需与真实环境交互，这种抽象的方法有效提高了数据利用率，且有效了算法的性能。同时，本研究将自由能理论以近似模型误差的方式嵌入到内在表征的学习中，结合传统强化学习中的价值网络，使智能体能够在内在表征模使用自由能进行长期推理，平衡智能体的探索和利用。最后，本研究根据主动推理理论，提出一个基于自由能的经验回访机制，以内部模型误差为度量改变数据的采样优先级，优先采样误差较大的数据，使模型能够快速收敛。在多个无人机辅助 AIGC 边缘计算仿真场景的实验表明，TC-AIF在性能方面优于经典的主动推理和强化学习方法。

第二，该部分工作面向强化学习针对多智能多接入的AIGC边缘计算场景下的音频大语言模型（Audio Language Models，ALM）任务所面对的非平稳性和通信挑战所开展。本研究在TC-AIF的基础上结合多智能体强化学习算法，将算法拓展至部分可观察的多智能体场景，并引入一种适配主动推理算法的Transformer通信模块，提出一种基于Transformer通信的多智能主动推理算法（Multi-Agent Active Inference，MA-AIF）。本研究设置一个智能体通过搭载基于Transformer的通信模块，通过注意力机制将每个智能体的内在表征转化为独立的全局表征返回，这种通过低维内在表征通信的方式有更高的通信效率。此外，有效的信息交换能有效缓解系统面临性能和非平稳性问题。同时，本研究还提出一种基于值分解的回报分配方法，在训练阶段，系统通过超网络学习所有智能体总回报，并通过超网络对每个智能体进行梯度下降，通过值分解的方式自适应的分配每个智能体的回报。这种基于值分解的回报分配方式使每个智能体的Q值网络持有更多的全局信息，有效提高Q值的置信度。通过在多个多智能体 AIGC 边缘计算仿真场景的实验表明，所提出的方法有效提高算法性能和稳定性。

润色一下，使条理更加清晰

本文的基本组织结构分为四个部分，如图\ref{cp1:frame}所展示，自上而下包括绪论、相关研究理论基础和经典算法、研究内容以及针对研究内容的总结和展望。

第 1 章是绪论部分。该章首先介绍了本文的研究背景与研究意义，对AIGC边缘计算的发展和所面临的挑战进行简要阐述，然后分别介绍了AIGC在边缘计算的发展、强化学习在边缘计算中的研究现状和主动推理算法的研究现状。

第 2 章是相关理论与算法介绍。该章首先从对接入边缘计算的理论与技术出发，介绍了多接入边缘计算中的计算卸载和资源分配技术。然后对本文所采用的AIGC算法进行理论阐述。接着介绍了强化学习的相关理论、经典强化学习和多智能体强化学习算法。最后介绍了主动推理的理论和经典算法。

第3章是针对单智能体无人机辅助的多接入边缘计算场景下的视频扩散模型任务卸载与资源分配问题展开的研究。该章首先介绍了目前强化学习在动态MEC场景下的优势和不足之处。然后针对无人机辅助MEC场景，对无人机辅助的MEC系统模型、视频扩散任务模型、基于认知无线电的通信模型和优化问题建模，构建基于服务质量的目标函数。然后在约束条件下，以最大化用户的服务质量为目标，提出一种基于时间一致性的主动推理卸载优化算法。最后通过多个仿真场景中评估以及验证了算法的有效性。

第4章是针对多智能体多接入边缘计算场景下的音频语言模型任务卸载与资源分配问题展开的研究。该章首先介绍了多智能体强化学习在多接入MEC场景下的非平稳性和通信问题。然后针对音频语言模型MEC场景，对多智能体MEC系统模型、音频语言任务模型、上传下载链路通信模型、优化问题建模，构建包括服务器选择、计算资源分配的联合优化问题。在多智能体MEC场景的约束条件下，以最大化模型准确率和最小化传输时延为目标，提出一种基于Transformer通信的多智能体主动推理卸载优化方法，通过仿真实验测试并分析算法性能。

第5章总结了本文的主要研究内容，并根据目前算法现存的一些问题提出未来的工作展望。

润色一下，使条理更加清晰

MEC三层架构一方面借鉴了分布式系统中节点自治、任务分解与数据局部处理的理念，将原本集中化的资源布置拆分到更多边缘节点上，进而实现快速响应与高并发处理。另一方面，多接入边缘计算的实现依赖于先进的网络虚拟化技术，通过将硬件资源抽象为通用化的虚拟资源，允许不同应用或功能模块在同一物理节点上按需共享并行执行，从而极大地提高网络的利用效率和部署灵活性。此外，多接入边缘计算不仅借助软件定义网络和网络功能虚拟化技术实现资源的灵活调度与动态配置，也通过多接入技术融合、跨层协作和增强型安全策略为未来网络提供了更多潜能。

多接入边缘计算的关键技术包括边缘节点的统一管理与协同调度、数据加速与本地化处理以及跨网络协议和访问方式的融合\upcite{9787115502353000}。针对边缘节点的管理与调度，需要构建一套完备的控制平面和数据平面通信机制，使边缘节点能够根据实时负载与可用资源灵活部署计算任务，从而在分散资源与集中管理之间取得良好的平衡。对于数据加速与本地化处理，研究人员通过硬件加速和轻量化的容器化技术让边缘节点在执行各类计算密集型或延迟敏感型任务时保持低功耗和高效率，同时也为敏感数据提供了更好的隐私保护。由于终端设备的接入方式多种多样，多接入边缘计算还需要融合蜂窝网络、无线局域网和有线接入等不同类型的网络，以保证用户在多种接入方式之间能够无缝切换并享受到一致的服务质量。

MEC架构依托于多种关键技术，其中包括：

（1）虚拟化技术：MEC依赖虚拟化技术将计算资源、存储资源和网络资源抽象化，从而实现多租户环境下的资源共享与高效调度。

（2）网络切片：网络切片技术是5G和MEC架构中的重要技术。它允许通过在物理网络上创建多个虚拟子网络（切片）来实现不同应用场景的需求。

（3）计算卸载：根据任务的计算需求和网络状况，将部分或全部计算任务从终端设备卸载到边缘服务器上进行处理，提高计算任务执行效率。

（4）资源分配：MEC利用虚拟化技术将物理资源（如服务器、存储设备）抽象为虚拟资源，从而实现资源的灵活分配和管理。

MEC借助先进的虚拟化、网络切片、计算卸载和资源分配等技术，提供了强大的支持，能够广泛应用于自动驾驶、AR/VR、工业物联网等多个领域\upcite{porambage2018survey}。随着5G和未来网络的逐步普及，MEC将继续在多个领域发挥重要作用，为用户提供更高效、低延迟的服务，为未来智慧社会提供核心驱动力。

润色一下，使条理更加清晰