2026 年 10 月 29 日
罗切斯特大学与 NVIDIA 的研究人员近日发布了 PixelDiT2，这是一种旨在改进人工智能图像生成的新模型。该模型通过在像素空间而非传统的隐藏空间中进行扩散处理，实现了对生成图像单个像素的精确控制，同时保持了与最先进隐藏空间模型相当的性能。
突破隐藏空间的局限
目前主流的人工智能图像生成器（如 ChatGPT 或 Google Gemini 背后的技术）大多采用基于隐藏空间的扩散模型。这种架构将“猫”或“狗”等概念压缩并存储为基本细节特征，从而能够在数秒内快速生成用户描述的图像。然而，这种高效性是以牺牲可控性为代价的。
罗切斯特大学工程学教授阿尔伯特·阿伦特·霍普曼指出：“使用隐藏空间有助于减少计算量，但问题在于你失去了可控性，因为你无法调整单个像素。”这意味着用户难以对生成图像的特定局部区域进行精细修改。
从 PixelDiT 到 PixelDiT2
为了解决这一问题，霍普曼实验室与 NVIDIA 合作，率先推出了以像素空间取代隐藏空间的模型 PixelDiT。该初代成果已在 2026 年 IEEE/CVF 计算机视觉和模式识别会议（CVPR）上展示。PixelDiT 允许用户在图像中定位特定区域进行修改，例如固定人物脸上眼镜的像素位置，或单独调整汽车的颜色。
在此基础上，团队开发了更强大的第二代模型 PixelDiT2。该模型通过有效的像素空间扩散机制，不仅实现了对单个像素的控制能力，还达到了与当前最先进隐藏空间模型几乎相同的整体性能水平。
PixelDiT2 的相关论文已发布在 arXiv 预印本服务器上，并计划在今年 12 月的神经信息处理系统大会（NeurIPS）上进行正式展示。
迈向像素级视频生成
随着图像生成技术的成熟，研究团队的注意力正转向更具挑战性的视频生成领域。参与该项目的成员包括计算机科学博士生永胜以及校友雄博士等。
霍普曼表示，视频生成面临的主要难点在于确保帧与帧之间平滑自然的过渡，这对人类视觉感知至关重要。“但是，这也意味着我们可以利用更多的数据。”他说。
尽管视频生成在计算和数据需求上更为复杂，但 PixelDiT2 在像素空间处理方面取得的进展，为未来实现高质量的人工智能视频生成奠定了基础。
参考文献：
永生等人，PixelDiT2:基于表示的像素扩散变压器，arXiv (2026)。DOI: 10.48550/arxiv.2609.24919。
