网络知识-epoll 与零拷贝相关系统调用学习笔记

之前没有亲手实践过 eoll, 最近开发一个小的 c 语言的网络工具, 从阻塞到事件驱动一步一步优化 , 最后性能挺不错的. 😂 实在想不出来没有 epoll 的世界

本文是对 Linux 下高性能网络编程核心技术点的梳理，重点围绕 epoll I/O 多路复用机制以及 splice、sendfile 等零拷贝（Zero-Copy）系统调用进行归纳。内容涵盖了从基本概念、API 用法、实战技巧到性能对比的各个方面，旨在为构建高性能代理（Proxy）、文件服务器等应用提供一份精炼的参考。

1. Epoll 核心三剑客

epoll 是 select/poll 的高效替代方案，它通过内核中的红黑树和就绪链表来管理海量文件描述符，避免了每次调用时从用户态到内核态的重复数据拷贝和线性扫描。

• int epoll_create1(int flags)
  用于创建一个 epoll 实例。推荐使用 EPOLL_CLOEXEC 标志，确保在 fork 调用后，子进程能自动关闭继承的 epoll 文件描述符，避免资源泄漏。

• int epoll_ctl(int epfd, int op, int fd, struct epoll_event *ev)
  用于在 epoll 实例上注册、修改或删除监听的事件。

  • op: 操作类型，包括 EPOLL_CTL_ADD (添加)、EPOLL_CTL_MOD (修改)、EPOLL_CTL_DEL (删除)。
  • events: 事件类型掩码，常用组合如下：
    • EPOLLIN: 读事件就绪（例如，socket 接收到数据）。
    • EPOLLOUT: 写事件就绪（例如，socket 发送缓冲区有空间）。
    • EPOLLERR: 发生错误。
    • EPOLLHUP: 对端关闭连接。
    • EPOLLET: 边沿触发 (Edge-Triggered)。相比默认的水平触发 (Level-Triggered)，它只在状态从未就绪变为就绪时通知一次，能有效减少 wakeup 次数，但要求 I/O 操作必须是非阻塞的，并且需要循环读写直到返回 EAGAIN。
    • EPOLLEXCLUSIVE: (Linux 4.5+) 用于一对多监听场景（如多个 worker 监听同一个 listen_fd），可避免“惊群”效应，确保只有一个线程被唤醒。

• int epoll_wait(int epfd, struct epoll_event *evlist, int maxevents, int timeout)
  等待已注册的事件发生。

  • timeout: -1 表示永久阻塞；0 表示立即返回，不阻塞；>0 表示最长等待的毫秒数。
  • 返回值是就绪的文件描述符数量，就绪事件被填充到 evlist 数组中。

典型事件循环伪码：

 1int epfd = epoll_create1(EPOLL_CLOEXEC);
 2// 将 listen_fd 添加到 epoll 实例
 3epoll_ctl(epfd, EPOLL_CTL_ADD, listen_fd, &ev);
 4
 5// 主循环
 6while (1) {
 7    int n = epoll_wait(epfd, events, MAX_EVENTS, 1000);
 8    for (int i = 0; i < n; i++) {
 9        if (events[i].events & EPOLLIN) {
10            handle_read(events[i].data.fd);
11        }
12        if (events[i].events & EPOLLOUT) {
13            handle_write(events[i].data.fd);
14        }
15    }
16}

2. 非阻塞 I/O 与 fcntl

fcntl 是一个强大的文件描述符控制工具，在高性能编程中，它主要用于设置非阻塞标志和调整管道缓冲区。

• 设置非阻塞标志 (O_NONBLOCK)
  int flags = fcntl(fd, F_GETFL); fcntl(fd, F_SETFL, flags | O_NONBLOCK);
  将文件描述符设置为非阻塞模式是配合 epoll 边沿触发（EPOLLET）的必要条件。

• 非阻塞适用性补充
  需要明确的是，Linux 下真正的“非阻塞”特性仅对可等待 (pollable) 的文件描述符生效。

  • 常见可设置非阻塞的对象：
    • socket: 网络编程的核心。
    • pipe/fifo: 用于进程间通信或作为零拷贝的内核缓冲区。pipe2() 可在创建时直接传入 O_NONBLOCK。
    • eventfd / timerfd / signalfd: 与 epoll 结合，用于实现事件通知、定时任务和信号处理。
    • 部分字符设备，如 /dev/tty*。
    • inotify fd: 用于文件系统事件通知。
  • O_NONBLOCK 被忽略的对象：
    • 普通磁盘文件。由于磁盘 I/O 通常被认为是始终就绪的，设置非阻塞标志会被内核忽略，因此不存在“非文件描述符的非阻塞”概念。
    • 匿名内存映射、多数 /proc 文件系统条目。

• 调整管道缓冲区大小
  fcntl(fd, F_SETPIPE_SZ, size_in_bytes); (Linux 2.6.35+)
  在进行基于 splice 的大流量零拷贝转发时，增大内核管道缓冲区（默认通常为 64KB）可以显著提升吞吐量。

3. 管道 (pipe/pipe2)

管道是零拷贝家族中不可或缺的“中间人”，它在内核中提供了一块缓冲区。

• int pipe(int fd[2]): 创建一个匿名全双工管道，fd[0] 为读端，fd[1] 为写端。
• int pipe2(int fd[2], int flags): (Linux 2.6.27+) pipe 的增强版，允许在创建时直接传入 O_NONBLOCK 和 O_CLOEXEC 标志，避免了额外的 fcntl 调用。

主要用途：

1. 传统的进程间通信（IPC）。
2. 作为 splice/tee/vmsplice 的内核缓冲区，实现数据在不同文件描述符之间的零拷贝转发。
3. eventfd/timerfd 在设计上可以看作是特定场景下对 pipe 的功能性替代和优化。

4. 零拷贝家族系统调用

零拷贝技术通过减少 CPU 在用户态和内核态之间的数据拷贝次数，来降低 CPU 负载和内存带宽占用，从而提升数据传输效率。

4.1 splice

ssize_t splice(int fd_in, loff_t *off_in, int fd_out, loff_t *off_out, size_t len, unsigned int flags);

splice 是实现通用零拷贝转发的核心。它要求 fd_in 或 fd_out 中至少有一个必须是管道。

• flags:

  • SPLICE_F_MOVE: 尝试移动内存页而不是复制，是性能优化的关键。
  • SPLICE_F_NONBLOCK: 非阻塞执行。
  • SPLICE_F_MORE: 向内核暗示后续还有数据（类似 TCP_CORK），有助于数据包合并。

• 经典转发模式:
  socket_A -> pipe -> socket_B

  1// 从 socket_A 读数据到管道写端
  2splice(socket_A, NULL, pipe_w, NULL, len, flags);
  3// 从管道读端写数据到 socket_B
  4splice(pipe_r, NULL, socket_B, NULL, len, flags);
  

4.2 tee

tee 用于将管道中的数据复制一份到另一个管道，同时不影响原始数据流，适用于需要数据分发的场景，如一份数据既要发送给客户端，又要存盘记录。

4.3 vmsplice

vmsplice 允许将用户态内存区域（通过 iovec 结构描述）的数据零拷贝地写入管道，或者从管道中读出，在特定场景下可替代传统的 writev。

4.4 sendfile

ssize_t sendfile(int out_fd, int in_fd, off_t *offset, size_t count);

sendfile 是一个高度优化的接口，专门用于将文件内容 (in_fd) 直接传输到套接字 (out_fd)，数据完全在内核态流动。它是 Nginx 等 Web 服务器发送静态文件的首选方案。

5. 事件等待机制比较

epoll 的核心优势在于，它避免了每次 epoll_wait 调用时都需要将整个文件描述符列表从用户态复制到内核态的开销。并且，内核直接返回就绪的 FD 列表，获取就绪事件的时间复杂度是 O(1)，与监听的总 FD 数量无关。

6. 调试与常见 errno

• EAGAIN / EWOULDBLOCK: 在非阻塞模式下，表示“资源暂时不可用”。读操作意味着无数据可读，写操作意味着缓冲区已满。处理方式：这是正常情况，应停止本轮读写，等待下一次 EPOLLIN / EPOLLOUT 事件通知。
• ECONNRESET / EPIPE: 对端重置或关闭了连接。
• EINVAL: epoll_ctl 参数错误，或尝试向 epoll 实例重复添加同一个 fd。

调试建议：在日志中打印关键信息，如 fd、事件掩码 (events)、读写字节数统计以及 strerror(errno) 返回的错误字符串，有助于快速定位问题。

7. 性能与最佳实践

1. 边沿触发 + 非阻塞：使用 EPOLLET 模式，并确保 read/write 循环执行，直到返回 EAGAIN，以完全耗尽内核缓冲区中的数据。
2. 合并写操作：使用 SPLICE_F_MORE 或 TCP_CORK 选项，鼓励内核将小的写操作合并成一个大的 TCP 包再发送，减少网络分片。
3. 批量处理事件：epoll_wait 的 maxevents 参数可设为 64 到 512 之间，并在单次 epoll_wait 返回后，循环处理所有就绪事件。
4. 合理设置 Pipe 大小：对于高吞吐量的零拷贝应用，可使用 fcntl(fd, F_SETPIPE_SZ, ...) 将管道缓冲区调大（如 1MB），但需注意这会增加内核内存占用。
5. 监控关键指标：监控应用的连接数、零拷贝传输字节数、回退到常规 read/write 的次数、epoll_wait 的调用频率等，以评估系统性能。

8. 典型零拷贝转发伪码

以下是使用 splice 实现从源 src 到目标 dst 的数据转发循环：

 1size_t total_forwarded = 0;
 2while (1) {
 3    // 1. 从源 splice 数据到管道
 4    ssize_t n_read = splice(src, NULL, pipe_w, NULL, PIPE_BUFFER_SIZE,
 5                            SPLICE_F_NONBLOCK | SPLICE_F_MOVE);
 6    if (n_read <= 0) {
 7        // 读取出错或结束
 8        break;
 9    }
10
11    ssize_t remaining = n_read;
12    while (remaining > 0) {
13        // 2. 从管道 splice 数据到目标
14        ssize_t n_written = splice(pipe_r, NULL, dst, NULL, remaining,
15                                   SPLICE_F_NONBLOCK | SPLICE_F_MOVE);
16        if (n_written <= 0) {
17            // 写入出错或阻塞
18            break;
19        }
20        remaining -= n_written;
21        total_forwarded += n_written;
22    }
23}
24
25// 可以在 splice 失败或返回 0 时，实现回退到常规 recv/send 的方案。

参考资料

• man 2 epoll_create1, epoll_ctl, epoll_wait, fcntl, splice, tee, vmsplice, sendfile
• LWN: 《Introducing splice(2)》
• IBM developerWorks: Zero-Copy Transfer in Linux
• 《Linux 高性能服务器编程》 - 游双 & 陈硕