单VM运行1500万Web服务器:内存与内核瓶颈

单VM尝试运行1500万Web服务器,受限于内存与内核瓶颈。实验目标配置仅10GB RAM和1核CPU,但因Linux默认端口范围限制,并行启动时迅速报错,暴露了传统架构在极端并发下的资源分配难题。

面对全球互联网基础设施中网络服务器资源短缺的问题,一种极端的解决方案被提出:在单个虚拟机(VM)上运行 1500 万个 Web 服务器。该实验旨在通过技术手段解决供需矛盾,目标配置为 10GB RAM 和 1 个 CPU 核心。若成功,这一架构有望从根本上缓解网络安全与资源分配问题。

每Socket占3384字节

传统 Web 服务器的瓶颈

Web 服务器的核心逻辑基于几个基本的系统调用(syscall):监听(listen)、接受连接(accept)、接收数据(recv)、发送数据(send)以及关闭连接(close)。这些操作由操作系统内核执行。以下是一个使用 C 语言实现的基础 HTTP 服务器示例:

int main(void)
{
    // 使用端口 0,让 OS 返回任意可用端口
    int server = socket(AF_INET, SOCK_STREAM, 0); 
    if (listen(server, 128) < 0)
        return 1;
    const char reply[] = "HTTP/1.0 200 OK\r\nContent-Length: 2\r\n\r\nOK";
    for (int client; (client = accept(server, NULL, NULL)) >= 0;) {
        if (recv(client, NULL, 4096, MSG_TRUNC) > 0)
            send(client, reply, sizeof reply - 1, MSG_NOSIGNAL);
        close(client);
    }
}

上述代码实现了标准的请求处理循环,单实例性能约为 65k RPS。然而,当尝试并行启动 1500 万个此类进程时,系统迅速报错:

$ for i in $(seq 1 15_000_000); do echo $i; ./server &; done
...
...
28232
program exited with error 1

失败原因在于端口耗尽。默认情况下,Linux 内核从 ip_local_port_range 中动态分配端口:

$ sysctl net.ipv4.ip_local_port_range
net.ipv4.ip_local_port_range = 32768    60999

该范围受限主要源于历史原因和安全考量:端口 0 特殊且不可监听;1-1024 需 root 权限;1024-32768 保留以防冲突;60999-65535 因 IP 伪装历史原因被排除。即便扩展至全范围 1-65535,仍远不足以支持 1500 万个独立服务。虽然可以通过 UDP/TCP 复用或虚拟主机代理技术缓解,但这属于传统方案。另一种思路是增加网络接口卡(NIC),每增加一个 NIC 提供唯一 IP 地址,从而突破端口限制。若需 1500 万个地址,理论上需要约 450 张网卡。

软件定义网络与 AnyIP 技术

为避免硬件成本,可采用 AnyIP 技术在整个子网上进行监听。许多 VPS 提供商提供完整的 IPv6 子网。例如,添加本地路由:

sudo ip -6 route add local 2001:db8:1234:5678::/64 dev lo

获取拥有 1500 万个地址的子网成本极高(约 2.5 亿美元),但技术上可行。修改服务器代码以根据索引选择 IP:

// 从 CLI 读取 IP 索引,偏移基础 IP
int i = read_cli_param(argv[1]);
const uint32_t base_ip = 0x0a400001;  // 例:10.64.0.1
addr.sin_addr.s_addr = htonl(first_ip + i);  // 偏移,例:10.64.0.2

此时再次尝试启动 1500 万个进程:

$ for i in $(seq 1 15_000_000); do echo $i; ./server $i &; done
...
...
Out of memory

每个传统服务器进程消耗约 1.5MB RAM,1500 万进程总计需 20TB RAM,远超 10GB 预算。

自定义运行时与内存优化

为解决进程开销,需采用类似 V8 引擎的自定义运行时,将数百万个“客户”加载到单一主进程中,通过用户态调度器切换上下文。利用 LFI(Lightweight Function Interface)沙箱技术可实现内存隔离,并将所有 syscall 替换为主处理器调用,从而自主控制 I/O。

计算内存预算:10GB / 15M ≈ 666 字节/服务器。这极其紧张。分析最小状态需求,假设仅在主循环切换,需保存程序计数器(pc)及文件描述符(fd_server, fd_client):

struct Context {
    pc: u64,
    fd_server: i32,
    fd_client: i32,
}

每位客户最低需 16 字节,通过位打包可降至 8 字节。此外,TCP 连接状态占用内存。空闲连接理论上不占额外内存,活跃连接约占 5KB。假设 100 万活跃连接:

  • 14M 空闲连接:0 字节(理论值)
  • 15M 预定状态:220MB
  • 1M 活跃连接 × 5KB:5GB

总内存约 5.2GB,看似在预算内。验证空闲连接内存消耗:

int main(void) {
    // 运行 14M 个空闲连接 - 仅监听不做任何事
    // 应消耗零内存!
    for (int i = 0; i < 14_000_000; i++) {
        int server = socket(AF_INET, SOCK_STREAM, 0); 
        listen(server, 1)
    }
}

实际运行结果导致 OOM:

$ ./run_15m_idle_servers
Out Of Memory
$ dmesg | tail -n 1
'SHOULD CONSUMER ZERO MEMORY' - what are you, stupid?

这表明 Linux 内核在网络栈实现上存在固定开销。

内核网络栈的内存开销

即使不进行数据传输,仅创建 Socket 也会消耗大量内存。测试代码:

int main(void)
{
    for (int i = 0; i < 10_000_000; ++i) {
        socket(AF_INET, SOCK_STREAM, 0);
    }
}

在 10GB VM 中同样触发 OOM。socket() 系统调用无论是否活跃,均分配约 3300 字节内存。内核数据结构如下:

结构体sizeof描述
struct tcp2240BTCP 状态、队列、计时器、序列号、拥塞控制等
struct socket_alloc768B包含 struct socket 及 sockfs inode
struct file184B打开文件操作、标志、凭证等
struct dentry192BVFS 查找及生命周期记账
Total3384B

由于无法在不重写半个内核的情况下优化此开销,必须绕过内核网络栈。

绕过内核:smoltcp 与 DPDK

根据 OSI 模型,TCP/IP 位于传输层和网络层,其下为数据链路层和物理层。下层协议是无状态的,允许直接构造以太网帧或 IP 数据包。嵌入式领域已有成熟方案,如 Adam Dunkels 的 Miniweb(仅需 28 字节)。

现有用户态 TCP/IP 栈包括 gVisor、Seastar、lwIP 和 F-Stack。本项目选用 Rust 编写的 smoltcp,因其专为裸机实时系统设计,且无需堆分配:

smoltcp is a standalone, event-driven TCP/IP stack that is designed for bare-metal, real-time systems. smoltcp does not need heap allocation at all

smoltcp 本身不包含 I/O 功能,需配合底层驱动。三种接入方式:

  • TUN:内核提供的虚拟网络接口,工作在 IP 层。
  • TAP:内核提供的虚拟网络接口,工作在以太网层。
  • DPDK:直接与网卡通信,完全绕过内核。

smoltcp 原生支持 TUN/TAP:

fn main() -> std::io::Result<()> {
    let (mut device, config) = match std::env::args().nth(1).as_deref() {
        Some("tun") => (
            TunTapInterface::new("smoltun", Medium::Ip)?,
            Config::new(HardwareAddress::Ip),
        ),
        Some("tap") => (
            TunTapInterface::new("smoltap", Medium::Ethernet)?,
            Config::new(EthernetAddress([0x02, 0, 0, 0, 0, 2]).into()),
        ),
        _ => panic!("pass tun or tap"),
    };
    let mut iface = Interface::new(config, &mut device, Instant::now());
    iface.update_ip_addrs(|addrs| {
        addrs.push(IpCidr::new(IpAddress::v4(192, 0, 2, 2), 24)).unwrap();
    });
    let mut sockets = SocketSet::new(Vec::new());
    
    loop {
        let now = Instant::now();
        iface.poll(now, &mut device, &mut sockets);
        wait(device.as_raw_fd(), iface.poll_delay(now, &sockets))?;
    }
}

对于极致延迟敏感场景,DPDK 是更优选择。Syscall 耗时约 500ns,数据拷贝约 1000ns。在高吞吐场景(如高频交易饱和 400Gbps 链路,每秒 6 亿包,每包 1.7ns)下,内核开销不可接受。DPDK 通过内存映射缓冲区直接读写网卡数据,消除 Syscall。

DPDK 的另一优势在于避免中断风暴(Livelock)。传统模式下,高流量导致 CPU 频繁陷入内核处理中断,影响应用性能。DPDK 采用忙轮询(Busy Loop)模式独占 CPU 核心:

loop {
    send_from_app_memory_to_network();
    receive_from_network_to_app_memory();
}

需要注意的是,DPDK 要求对网络设备拥有独占访问权。启用后,该设备将从操作系统网络栈中消失(如 ifconfig 不可见),若在 SSH 会话中误配可能导致远程连接中断。

评论 0

0/500

评论需审核后展示,请文明发言

💬
还没有评论,来说两句

相关阅读