开发者 WollyMonjac 近日展示了一项名为 Tiny 2.1 的项目,成功将一个基于 Transformer 架构的小型语言模型移植至运行 DOS 系统的 486DX 和 Pentium PC 上。该项目并非传统意义上的大型语言模型(LLM),其核心是一个使用 Turbo C 2.0 编写的微型问答 Transformer。

Tiny 2.1 被设计为能够容纳在标准 PC 格式软盘中,该介质在 486 时代的可用数据容量不足 1,475,000 字节。为了适应这一严苛的存储限制,项目采用了以下技术规格:
- 模型参数总量为 367,000 个,包含 4 层结构,宽度为 96,采用字母级读写机制;
- 权重量化为 8 位(每行一个级别),总大小约为 380KB;
- 训练数据基于约 3,500 条事实信息,每条事实均以多种表述方式呈现。
运行 Tiny 2.1 需要至少 540KB 的常规内存。用户界面遵循典型的 DOS 程序规范,提供一系列 F 键快捷键操作,并配备通过 PC 扬声器发出的机器人语音反馈。尽管模型规模极小,但开发者指出其偶尔出现的“幻觉”现象在此场景下更多被视为一种趣味性功能而非缺陷。
目前,WollyMonjac 已在 MIT 许可证下发布了包含训练文件的版本。具备相应能力的用户可以根据特定兴趣领域,利用这些文件对模型进行微调,以构建更具针对性的问答系统。
随着复古计算热潮的兴起,将现代软件运行于老旧硬件已成为一种显著的技术趋势。除了 Tiny 2.1,此前已有类似项目实现,例如在 DOS 环境下运行的 ChatGPT 客户端、Game Boy 上的 Minecraft 移植版、Commodore 64 上的生成式 AI 图像创建工具,以及 Atari ST 上的 Doom 游戏等。





