2026 年 11 月 2 日
韩国先进科学技术学院 (KAIST)
人工智能微调能否在短短 3 小时内完成？KAIST 研究人员开发了一种新技术，通过筛选最有用的训练数据并将其均匀分布在多个 GPU 上，实现了这一目标。
该方法通过减少类似数据的重复学习，将训练时间缩短了 69.6%，同时保持了几乎相同的 AI 性能。预计这项技术将有助于更快、更低成本地开发针对特定任务的 AI，例如企业客户服务或协助医疗专业人员获取信息。
由计算机学院 Jae-Gil Lee 教授领导的研究团队开发了名为“CluSTER”的大型语言模型微调技术。该技术能够根据学习效果对数据进行分组和选择，并将其均匀分布在多个 GPU 上。
这项研究成果已于 2026 年 10 月在自然语言处理实证方法会议 (EMNLP 2026) 上发表，并可在 arXiv 预印服务器上查阅。KAIST 计算机学院博士生 Kim 作为第一作者参与了研究，Lee 为通讯作者。多伦多大学博士后研究员 Youngeun Nam，以及 KAIST 数据科学研究院的学生 Jaemin Han 和 Wonhyeok Choi 作为共同作者参与了该项工作。
随机分配导致重复学习
大型语言模型在用于编码或医学等特定领域前，必须在相关数据上进行进一步训练，这一过程被称为“微调”。这类似于教导一个拥有广泛知识的 AI 解决编码问题或回答医学疑问，以便其更有效地执行特定领域的任务。
微调过程需要巨大的计算资源，因此通常利用多个 GPU 分割数据并行处理。GPU 是一种能快速执行人工智能训练所需计算的半导体设备。就像多人分工解决大问题一样，多个 GPU 可以分担训练数据处理并结合结果来改进单个 AI 模型。
然而，如果数据是随机分布的，多个 GPU 可能会反复处理具有类似学习效果的数据。这就像一个学生反复解决与他已经掌握的内容非常相似的问题，造成了相对于所需计算量的浪费。
因此，研究团队不仅关注“训练多少数据”，还重点关注“选择哪些数据以及如何分配它们”。其目标是减少重复学习，同时确保人工智能不会错过需要学习的各种信息。
根据学习效应对数据分组
首先，CluSTER 分析了每个数据如何影响人工智能的学习效果，并将具有相似效果的数据组合在一起。这种分组并非仅基于数据是否涵盖相同主题或使用相似词汇。即使表面上看起来不同的问题，如果被归类为能教导人工智能类似的解决问题能力，也会被归入同一组。
例如，在教学生加法时，“两个苹果加三个苹果”与“两支笔加三支笔”虽然故事背景不同，但涉及的计算逻辑相同。研究团队据此确定并分组了对学习有相似影响的数据。
随后，系统从每个组中选择数据并进行分配，使多个 GPU 能够均匀地处理多样化的学习信息。这类似于精简练习册中的重复题目，同时确保所有重要题型依然存在，并分配给不同的人去解决。该方法的关键特点在于，它不仅减少了数据量，还使多个 GPU 能够高效地使用所选数据。
大幅缩短训练时间且性能无损
研究团队使用编码和医学领域的三组训练数据对大规模语言模型进行了微调。参数是人工智能模型在学习过程中调整的内部数值，用于在其响应中反映获得的知识。团队通过总共八个性能基准评估了该技术的有效性。
实验结果显示，即使仅使用全数据集 31% 的数据进行训练，模型的性能也几乎保持不变，而训练时间缩短了 69.6%。在最理想的情况下，原本需要 10 小时的培训可以在 3 小时内完成。研究团队主要在使用四个 GPU 的环境中进行实验，并证实在使用八个 GPU 的环境中，该方法的性能优于传统方法。
这项研究表明，如果有效地选择和分配训练数据，无需增加更多 GPU 即可提高人工智能训练效率。未来，这项技术有望帮助企业和研究机构在开发人工智能时，减少额外培训所需的时间和 GPU 成本。
Lee 教授表示：“为了提高人工智能培训的效率，重要的是不仅要使用更多的 GPU，还要智能地选择应用于学习的数据。”他补充道：“这项研究的重要性在于它表明现有的 GPU 资源可以更有效地利用，从而减轻大型人工智能模型的培训负担。”
Kim 等人，《基于集群的平衡采样和数据并行性分配用于高性能微调》，arXiv (2026)。DOI: 10.48550/arxiv.2609.12584
