Kafka 反向代理与负载均衡实践：基于 Nginx 的实现方案

一、为什么需要 Nginx 代理 Kafka？

在生产环境中，Kafka 集群通常部署在内网，客户端无法直接访问；同时，Kafka 默认的连接机制是 客户端直连各个 broker，在跨网络访问、统一出口、安全隔离等场景下会比较复杂。

通过 Nginx TCP 反向代理，可以实现：

• 统一入口：只暴露一个 Nginx 地址给外部客户端
• 网络隔离：屏蔽内部 broker 的真实 IP
• 负载均衡：分发请求到不同 broker
• SSL 终端：由 Nginx 统一做 SSL/TLS 加解密

二、Kafka + Nginx 架构图

三、Nginx 配置 Kafka TCP 反向代理

1. 基础配置示例

stream { upstream kafka_cluster { server kafka1:9092 weight=1; server kafka2:9092 weight=1; server kafka3:9092 weight=1; } server { listen 9092; proxy_pass kafka_cluster; proxy_timeout 1s; proxy_connect_timeout 1s; } }

2. 更完整的生产环境配置

stream { upstream kafka_brokers { least_conn; server 192.168.1.101:9092 max_fails=3 fail_timeout=30s; server 192.168.1.102:9092 max_fails=3 fail_timeout=30s; server 192.168.1.103:9092 max_fails=3 fail_timeout=30s; server 192.168.1.104:9092 max_fails=3 fail_timeout=30s backup; } server { listen 1