首尔国立大学团队发布 TACToC 与 mzCache：分别降低 AI 通信开销与端侧响应延迟
近日，首尔国立大学电气和计算机工程系 Kyunghan Lee 教授领导的研究团队发布了两项针对人工智能（AI）应用的关键技术成果：TACToC 通信系统与 mzCache 内存管理系统。这两项技术旨在解决移动设备上 AI 应用面临的两大痛点：数据传输带宽占用过高以及多任务切换时的响应延迟。
相关论文已被ACM MobiCom 2026（第32届移动计算和网络国际年会）接收。该会议于2026年10月26日至30日在美国德克萨斯州奥斯汀举行。
TACToC：单一编码器实现任务自适应通信，成本降低最高14.5倍
在自动驾驶汽车、机器人或智能手机通过远程服务器进行 AI 分析的场景中，传统视频压缩技术主要服务于人类视觉质量，导致传输了大量对机器分析无用的冗余数据。现有的“面向任务的通信”方法虽然能只传输必要信息，但通常需要为每个特定任务（如图像分类、对象识别）单独训练编码器和解码器，这在处理多任务或新增任务时带来了巨大的计算负担。
研究团队开发的 TACToC（Task-Adaptive Communication for Tasks-oriented Communication）系统通过引入“任务可描述的编码器”，实现了单一编码器支持多个 AI 任务。该系统结合相关特征估计和基于提示的任务嵌入算法，预测每个视觉特征对当前任务的贡献度，从而仅选择并传输所需的信息。当需要添加新任务时，只需训练少量可训练的代币（tokens），无需重新训练整个编码器。
实验数据显示：
- 通信效率提升：在包含语义分割、姿势估计、图像标题生成、图像分类和深度估计的五项公开数据集任务中，TACToC 相比现有方法将通信成本降低了 1.5 至 14.5 倍，同时精度损失控制在 3 个百分点以内。
- 资源占用优化：切换任务仅需更新约 1,900 个参数，耗时约 12.5 毫秒。相比现有方法，训练吞吐量提高约 3 倍，内存占用仅为原来的五分之一。
- 边缘设备性能：在 NVIDIA Jetson AGX Orin 边缘 AI 设备上，处理速度约为每秒 21 帧。
- 网络适应性：在模拟现实移动网络条件的实验中，TACToC 的数据传输量比 H.265 视频压缩减少约 16.7%，比现有任务导向通信方法减少约 41.1%。
由于 TACToC 可在不修改现有通信网络架构的情况下部署，该技术有望应用于自动驾驶、无人机、智能 CCTV 系统以及下一代 6G 语义通信场景。
mzCache：并行恢复内存与计算，首次响应时间缩短最高5.5倍
随着大语言模型（LLM）等 AI 功能直接在智能手机上运行（即设备内 AI），隐私保护优势明显，但也面临严峻的内存挑战。一个紧凑的 AI 模型连同对话历史可能需要占用约 577GB 的内存空间。当用户从 AI 应用切换到相机、游戏或其他应用时，操作系统通常会释放 AI 占用的内存以腾出空间。当用户返回 AI 应用时，系统需从存储介质中恢复数据，导致显著的延迟。
研究团队在实际智能手机上的测量显示，这种传统的内存恢复方式使 AI 的首次响应时间从 0.8 秒 激增至约 16 秒。在内存压力严重时，AI 进程甚至可能被强制终止，导致上下文丢失。现有的内存压缩技术仅能将 AI 对话历史缩减 0.2%–9.3%，效果有限。
mzCache 通过将 AI 内存划分为小单元，并采用 CPU 与 GPU 并行工作策略来解决这一问题：
- 并行机制：当用户返回 AI 应用时，GPU 利用已可用的数据进行计算，而 CPU 同时负责恢复剩余的被驱逐数据。
- 分层管理：利用 AI 模型从早期层到晚期层的连续计算特性，系统从后层开始驱逐内存，并从早期层开始恢复内存。
- 混合恢复路径：结合保留在内存中的压缩对话历史和基于存储的恢复两种路径，根据已回收的内存量动态调整恢复策略。
实验结果显示：
- 响应速度提升：在 Galaxy S25+ 和 OnePlus 12 等商用智能手机上，mzCache 将 AI 的首次响应时间缩短了 2.1 至 5.5 倍。在 AI 内存完全被回收的情况下，其响应速度比默认 Android 方法快 25.9 倍。
- 上下文保持：在一项让用户在社交媒体、视频、游戏和相机等 10 个应用间交替使用约 45 分钟的实验中，传统方法下 AI 每次都被强制终止；而在 mzCache 支持下，AI 在 10 次重复试验中始终保持活跃，并保留了之前的对话上下文。
- 低侵入性部署：mzCache 代码量约为 6,000 行，可作为 Android 应用运行，无需修改操作系统内核。
研究意义与展望
Kyunghan Lee 教授指出，TACToC 提出了一种高效的机器对机器通信技术，为实现基于网络的物理 AI 奠定了技术基础；而 mzCache 则提供了一种在有限内存下保持设备端 AI 响应能力和上下文完整性的管理方法。
研究团队计划将这些技术扩展到多个人工智能应用同时运行的环境，并适配包括神经处理单元（NPU）在内的更广泛移动处理器。未来，这些技术有望应用于智能眼镜、笔记本电脑和工作站等设备，以提供更稳定的 AI 服务。
论文引用：
Hongseung Yu et al., mzCache: On-device LLM Memory Management under Multitasking, Proceedings of the 32nd Annual International Conference on Mobile Computing and Networking (2026). DOI: 10.1145/3795866.3844495
Huijeong Choe et al., TACToC: Task-Adaptive Communication via Describable Task Encoder, Proceedings of the 32nd Annual International Conference on Mobile Computing and Networking (2026). DOI: 10.1145/3795866.3796689
