高并发服务、实时流媒体、高频交易等场景对网络吞吐量和延迟有严苛要求。Linux 内核网络协议栈的默认参数是为了兼容通用场景而设计，在专用生产环境中往往无法发挥硬件全部性能。TCP 缓冲区大小、网卡中断亲和性、套接字选项等每一个细节都可能成为性能瓶颈。本文直接切入真实问题，从内核参数、网卡调优到应用层选项，系统梳理 TCP 缓冲区调优与协议栈优化路径。
理解 Linux 网络协议栈与 TCP 缓冲区
网络协议栈数据路径简述
当网卡接收到数据包后，DMA 将数据拷贝到内核预分配的环形缓冲区（Ring Buffer），产生硬中断通知 CPU。内核通过 NAPI 机制轮询收包，数据包被封装为 sk_buff 结构体并送入协议栈处理。TCP 层根据接收缓冲区可用空间决定是否向上层推送数据。发送路径类似：应用层写入的数据先在发送缓冲区排队，由内核 TCP 栈按窗口大小和拥塞控制策略发出。
TCP 缓冲区的作用与自动调整
发送缓冲区（tcp_wmem）控制了未确认数据的最大量，直接影响吞吐量；接收缓冲区（tcp_rmem）则决定了接收窗口大小。Linux 2.6.17 之后引入自动缓冲区调整机制（moderate_rcvbuf），内核会根据实际接收速率动态调整接收窗口，避免浪费内存或限制吞吐。但自动调整的上下限由内核参数决定，错误的配置会导致窗口过小或过度缓存。
关键内核参数与调优策略
tcp_rmem / tcp_wmem / tcp_mem 详解
三个参数均为三个值组成的向量：min、默认、max（单位：字节）。
- tcp_rmem（接收缓冲区）：默认通常为
4096 131072 6291456。min 是每个连接的最小接收缓冲区，max 是硬上限。 - tcp_wmem（发送缓冲区）：默认
4096 16384 4194304。默认值 16K 对于千兆网卡可能过小，建议增大到 256K 以上。 - tcp_mem：不针对单个连接，而是整个系统的 TCP 内存用量阈值（单位：页）。当内存占用超过
max时，TCP 会开始降级（如减小窗口、丢弃数据包）。
调优思路：根据连接数 x 缓冲区大小估算总内存，保证 tcp_mem max 大于预期占用，同时避免单个连接缓冲区过大导致内存溢出。
net.core 层面的默认与最大值
除 TCP 专用参数外，net.core.rmem_default 和 net.core.wmem_default 是其他协议（如 UDP）以及不显式设置缓冲区时的默认值。rmem_max / wmem_max 是应用层通过 setsockopt 可设置的最大值，若过小，即使 tcp_rmem max 很大也无法生效。建议将 rmem_max 和 wmem_max 设置为 16777216（16MB）以上。
接收窗口调整相关参数
- tcp_adv_win_scale：决定接收窗口的计算偏移量。默认 1 表示窗口约为缓冲区大小的 3/4；设置为 0 则窗口约等于缓冲区大小；建议高带宽延迟积（BDP）场景设为 0 或 -1。
- tcp_app_win：保留给应用层的窗口比例，默认 31（保留 1/32）。调小可提高吞吐，但会减少应用处理时间。
- tcp_moderate_rcvbuf：默认 1（开启）。关闭后接收窗口固定为用户设置值，适合对延迟抖动敏感、吞吐可预期的场景。
网卡与中断亲和性调优
RSS / RPS 与应用
现代多队列网卡支持Receive Side Scaling (RSS)，通过哈希将不同流分配到不同硬件队列，再由多个 CPU 核心并行处理。如果网卡不支持 RSS，可用内核的 Receive Packet Steering (RPS) 软件方式模拟。配合 Transmit Packet Steering (XPS) 可以优化发送路径。
中断绑定与 irqbalance
默认情况下 irqbalance 会动态分配中断，但在高吞吐场景下建议关闭或手动绑定：
- 查看网卡中断号：
cat /proc/interrupts | grep eth0 - 绑定到指定 CPU：
echo 1 > /proc/irq/中断号/smp_affinity（位图，1 表示 CPU0） - 实践建议：将同一 NUMA 节点上的网卡中断绑定到该节点 CPU，避免内存访问跨节点。
套接字选项与应用程序级调优
SO_RCVBUF / SO_SNDBUF
应用层通过 setsockopt 设置接收/发送缓冲区大小时，内核会将其翻倍（为了协议头部预留空间）。注意设置值不能超过 net.core.rmem_max / wmem_max。对于长肥网络（高带宽延迟积），需要手动设置较大缓冲区，例如 4MB ~ 16MB。
TCP_NODELAY 与 Nagle 算法
Nagle 算法旨在合并小包，但会增加延迟。对于交互式应用（如游戏、SSH）应禁用：setsockopt(sock, IPPROTO_TCP, TCP_NODELAY, &enable, sizeof(enable))。
TCP_CORK 与 TCP_QUICKACK
- TCP_CORK：类似 Nagle 但更“激进”，会累积数据直到缓冲区满或超时后一次性发送。适合批量传输，在调用
sendfile时组合使用效果显著。 - TCP_QUICKACK：关闭延迟确认（Delayed ACK），每收到一个数据包立即发送 ACK，适用于减少单向延迟的场景。注意频繁 ACK 可能增加 CPU 开销。
实战调优步骤与验证方法
sysctl 持久化配置示例
将以下参数写入 /etc/sysctl.d/99-net.conf（以高吞吐、低延迟场景为例）：
net.core.rmem_max = 16777216 net.core.wmem_max = 16777216 net.core.rmem_default = 262144 net.core.wmem_default = 262144 net.ipv4.tcp_rmem = 4096 262144 16777216 net.ipv4.tcp_wmem = 4096 65536 16777216 net.ipv4.tcp_mem = 8388608 12582912 16777216 net.ipv4.tcp_adv_win_scale = 0 net.ipv4.tcp_app_win = 0 net.ipv4.tcp_moderate_rcvbuf = 1 net.core.netdev_budget = 600 net.core.netdev_budget_usecs = 4000
执行 sysctl -p /etc/sysctl.d/99-net.conf 生效。
查看当前缓冲区状态
使用 ss -t -i 显示每个 TCP 套接字的接收/发送缓冲区使用量、窗口大小、拥塞控制算法。示例输出中 skmem 的 r 和 w 即实际分配内存。
观察丢包与重传
netstat -s 可以汇总 TCP 层信息，关注：
TCPLostRetransmit：丢包后重传次数TCPTimeouts：超时重传TCPBacklogDrop：接收队列满丢弃（常见于接收缓冲区不足）
结合 ethtool -S eth0 查看网卡硬件丢包计数（如 rx_missed_errors、rx_fifo_errors），判断瓶颈是否在 Ring Buffer 或软中断处理。
注意事项与回滚方案
过度调优风险
- 内存占用：每个连接超过 16MB 缓冲区，若并发 1 万连接则占用 160GB 内存，极易触发 OOM。
- 延迟抖动：关闭自动调节、绑定中断虽能提升峰值性能，但可能使延迟分布不均。
- CPU 过载：增大
netdev_budget会使软中断处理更多包，占用大量 CPU 时间。
保存默认值，逐步调整
调优前保存原始参数：sysctl -a | grep conntrack > /root/net_defaults.txt。建议每次只调整 2~3 个参数，使用 iperf3、netperf 或真实业务流量压测，监控吞吐、延迟、丢包率变化。若出现异常，立即恢复默认值或重启网络服务（systemctl restart networking，注意不影响现有连接）
高性能网络调优没有“银弹”，必须结合实际业务模型（长连接 vs 短连接、大包 vs 小包、对称 vs 非对称流量）反复测试。本文提供的参数范围可作为起点，而非终点。
延伸阅读