CPU와 메모리 사용률은 절반도 안 되는데 신규 연결만 자꾸 타임아웃되는 서버가 있다고 합시다. 자원이 남는데도 연결이 거부된다면 범인은 자원이 아니라 TCP 연결 큐인 경우가 많습니다.
이 글에서는 TCP가 연결을 어떻게 받아들이는지, 그 과정에서 큐가 어떻게 넘치는지, 그리고 SYN flooding 공격과 방어책인 syncookie의 동작을 Linux 커널 기준으로 정리합니다.
💡 글의 흐름은 Alibaba Cloud의 TCP SYN Queue and Accept Queue Overflow Explained를 참고했습니다.
TCP 연결은 3-way handshake로 수립됩니다. 클라이언트가 SYN을 보내고, 서버가 SYN+ACK로 응답하고, 클라이언트가 ACK로 확인하는 세 번의 교환입니다.
서버 입장에서 연결은 두 개의 큐를 거칩니다.
SYN_RECV 상태의 연결이 들어갑니다.ESTABLISHED가 된 연결이 들어가, 애플리케이션의 accept() 호출을 기다립니다.
accept 큐는 애플리케이션이 accept()를 호출해야 비워집니다. 애플리케이션이 느려지면(스레드 풀 고갈, GC 멈춤, 백엔드 호출 지연 등) accept 큐가 비워지지 못하고 쌓이다가 넘칩니다. 자원과 무관하게 연결이 거부되는 장애는 대개 여기서 시작됩니다.
accept 큐의 최대 길이는 다음과 같습니다.
somaxconn: 시스템 전역 파라미터(/proc/sys/net/core/somaxconn, 기본 128)backlog: 애플리케이션이 listen(fd, backlog)에 넘기는 값둘 중 작은 값이 한계입니다. 애플리케이션에서 backlog를 크게 줘도 somaxconn이 작으면 거기서 막히고, 반대도 마찬가지입니다. 참고로 Go는 listen의 backlog로 somaxconn 값을 그대로 사용합니다.
SYN 큐의 길이 계산은 좀 더 복잡합니다.
여기서 은 커널의 nr_table_entries이고, 는 인자보다 크거나 같은 가장 작은 2의 거듭제곱으로 올리는 연산입니다. ··(기본 1024) 세 값이 함께 관여하며, 결과는 항상 2의 거듭제곱으로 라운딩됩니다.
ESTABLISHED라고 여기는데 서버는 아직 아니어서 상태가 어긋나고, 연결이 늘어지다 타임아웃됩니다. tcp_abort_on_overflow=1로 두면 ACK를 버리는 대신 RST를 보내 클라이언트가 빠르게 실패를 인지하게 할 수 있습니다.tcp_syncookies 설정에 따라 동작이 갈립니다.| 파라미터 | 경로 | 기본값 | 역할 |
|---|---|---|---|
somaxconn |
/proc/sys/net/core/somaxconn |
128 | accept 큐 전역 상한 |
tcp_max_syn_backlog |
/proc/sys/net/ipv4/tcp_max_syn_backlog |
1024 | SYN 큐 크기 계산 상한 |
tcp_syncookies |
/proc/sys/net/ipv4/tcp_syncookies |
1 | SYN flood 방어 동작 제어 |
tcp_abort_on_overflow |
/proc/sys/net/ipv4/tcp_abort_on_overflow |
0 | accept 큐 가득 시 RST 전송 여부 |
SYN을 받으면 서버는 SYN 큐에 엔트리를 하나 만들고, 거기에 클라이언트의 초기 시퀀스 번호와 협상된 옵션(MSS, window scale 등)을 저장합니다. 이 엔트리는 클라이언트의 ACK가 오기 전까지 메모리에 남습니다. 공격자가 노리는 빈틈이 바로 이 지점입니다.
공격자는 출발지 IP를 위조한 SYN만 잔뜩 보내고 ACK는 보내지 않습니다. 서버가 보낸 SYN+ACK는 존재하지 않거나 무관한 IP로 가서 응답이 없고, 엔트리는 타임아웃까지 큐를 점유합니다. SYN 큐가 가득 차면 정상 클라이언트의 SYN까지 거부됩니다.

이 공격이 효과적인 이유는 자원 소모가 비대칭적이기 때문입니다. 공격자는 SYN 패킷 한 개만 보내면 되지만, 서버는 상태를 저장하고 SYN+ACK를 재전송하며 타이머까지 유지해야 합니다. 적은 비용으로 서버의 연결 수용 능력을 마비시킬 수 있습니다.
⚠️ 이름만 cookie일 뿐, HTTP의 쿠키와는 아무 관련이 없습니다. 브라우저가 저장하는 세션 쿠키나
Set-Cookie헤더와 혼동하기 쉬운데, syncookie는 TCP 계층(L4)에서 동작하는 별개의 메커니즘입니다.
syncookie의 핵심 아이디어는 SYN 큐에 상태를 저장하지 않는 것입니다. 대신 그 상태를 서버가 보내는 SYN+ACK의 시퀀스 번호(서버 ISN)에 인코딩해서 클라이언트에게 떠넘깁니다.
이게 가능한 건 handshake의 규칙 덕분입니다. 클라이언트는 서버가 보낸 SYN+ACK의 시퀀스 번호에 +1 한 값을 ACK 번호로 되돌려줍니다. 따라서 서버가 ISN을 난수 대신 연결 상태를 담은 값으로 만들어 두면, 돌아온 ACK 번호에서 그 상태를 다시 꺼낼 수 있습니다.
위조 SYN이 아무리 쏟아져도 서버는 상태를 만들지 않으니 SYN 큐가 차지 않습니다. 위조 IP로 간 SYN+ACK는 어차피 ACK로 돌아오지 않으므로 그냥 사라집니다.
이 32비트 시퀀스 번호(쿠키)는 대략 이렇게 구성됩니다.

ACK가 돌아오면 서버는 같은 4-tuple·카운터·비밀키로 MAC을 다시 계산해 일치하는지 확인합니다. 비밀키를 모르는 공격자는 유효한 쿠키를 위조할 수 없습니다. 상태를 저장하지 않으면서도 암호학적으로 검증한다는 것이 syncookie의 요지입니다.
/proc/sys/net/ipv4/tcp_syncookies는 세 가지 값을 가집니다.
| 값 | 동작 |
|---|---|
0 |
비활성. SYN 큐가 차면 SYN을 그냥 드롭 |
1 (기본) |
평소엔 일반 경로(SYN 큐)를 쓰고, SYN 큐가 넘칠 때만 syncookie로 폴백 |
2 |
항상 syncookie 사용 (주로 테스트용) |
기본값 1은 상시 동작이 아니라 큐 오버플로 시에만 작동하는 폴백입니다. 평소엔 옵션 손실 없는 일반 경로를 쓰다가, 큐가 차서 SYN을 버려야 할 순간에만 쿠키를 발급해 연결을 살립니다.
syncookie는 공짜가 아닙니다. 상태를 32비트에 욱여넣는 트릭이라 잃는 것이 있습니다.
tcp_timestamps가 켜져 있으면 SYN+ACK의 timestamp 필드에 일부 옵션을 추가로 인코딩해 손실을 완화합니다.이런 trade-off 때문에 syncookie는 성능 기능이 아니라 과부하·공격 상황에서 가용성을 지키는 안전장치에 가깝습니다.
현재 큐 상태는 ss로 봅니다.
ss -lnt # -l listen, -n 숫자, -t tcp
ss(와 netstat)의 Recv-Q·Send-Q는 소켓의 State가 무엇이냐에 따라 의미가 완전히 달라집니다. 이걸 모르면 출력을 오독하기 쉽습니다.
| 컬럼 | LISTEN 소켓 | LISTEN이 아닌 소켓 (ESTABLISHED 등) |
|---|---|---|
| Recv-Q | 현재 accept 큐에 쌓인 연결 개수 | 수신 버퍼에서 아직 앱이 안 읽은 바이트 수 |
| Send-Q | accept 큐의 최대 길이(backlog) | 보냈지만 아직 ACK 안 받은 바이트 수 |
LISTEN 소켓에는 데이터 송수신 개념이 없어서, 커널이 이 두 컬럼을 연결 큐 카운터로 재활용합니다. 그래서 출력을 볼 때 그 줄의 State를 먼저 확인해야 합니다.
LISTEN 소켓에서는 이 글에서 다룬 accept 큐가 보입니다.
ss -lnt
State Recv-Q Send-Q Local Address:Port
LISTEN 0 128 0.0.0.0:8080
LISTEN 5 128 0.0.0.0:9090
Recv-Q는 핸드셰이크를 마쳐 ESTABLISHED가 됐지만 앱이 아직 accept()로 꺼내가지 않은 연결 수, Send-Q는 accept 큐의 최대 길이(min(somaxconn, backlog), 위에서는 128)입니다. 정상이라면 Recv-Q는 거의 항상 0입니다(8080). Recv-Q가 차오르거나 Send-Q에 근접하면(9090) 앱의 accept()가 유입 속도를 못 따라간다는 뜻이고, Recv-Q가 Send-Q에 도달하는 순간부터 accept 큐 오버플로가 나서 새 연결의 ACK가 버려집니다. 여기에 SYN 큐 상태는 나오지 않습니다. SYN 큐는 아래 netstat -s·nstat 카운터로 봐야 합니다.
ESTABLISHED 소켓에서는 두 컬럼이 버퍼의 미처리 바이트를 가리킵니다.
ss -nt
State Recv-Q Send-Q Local Address:Port Peer Address:Port
ESTAB 24300 0 10.0.0.1:8080 10.0.0.9:51240
ESTAB 0 137820 10.0.0.1:8080 10.0.0.9:51250
Recv-Q가 지속적으로 크면 내 쪽 앱이 문제입니다. 커널은 데이터를 받아뒀는데 앱이 read()로 못 가져가고 있다는 뜻입니다(블로킹된 스레드, 느린 컨슈머 등). 수신 버퍼 한계까지 차면 TCP가 상대에게 window 0을 광고해 흐름을 멈춥니다. 반대로 Send-Q가 지속적으로 크면 네트워크나 상대 쪽을 의심합니다. 내가 보낸 데이터가 ACK로 확정되지 않고 있다는 뜻입니다(정체, 패킷 손실, 상대의 작은 수신 window 등).
누적 카운터는 netstat나 nstat로 봅니다.
netstat -s | grep -i listen
# ... times the listen queue of a socket overflowed → accept 큐 오버플로 누적
# ... SYNs to LISTEN sockets dropped → SYN 큐 드롭 누적
nstat -az | grep -i syncookie
# TcpExtSyncookiesSent : 발급한 쿠키 수 (= SYN 큐 오버플로로 폴백 발생)
# TcpExtSyncookiesRecv : ACK로 돌아와 검증 성공한 쿠키 수
# TcpExtSyncookiesFailed : 검증 실패한 쿠키 수
한 번 찍힌 절대값보다 증가 추세를 보는 게 중요합니다. SyncookiesSent가 늘고 있다면 SYN 큐가 넘쳐서 안전장치가 작동 중이라는 신호입니다.
SyncookiesSent가 올라간다고 곧바로 공격은 아닙니다. 정상 트래픽에서도 SYN이 큐 용량을 넘기는 경우가 흔합니다.
accept(): SYN이 많아서가 아니라 큐가 안 비워져서 생깁니다. accept 큐가 차면 새 연결이 SYN_RECV에 머물며 SYN 큐도 압박을 받습니다.공격과 정상 폭주를 가르는 단서로는 SyncookiesSent 대비 SyncookiesRecv가 쓸 만합니다. 발급한 쿠키가 ACK로 돌아와 검증에 성공한다면(Recv 증가) 진짜 클라이언트들이 연결을 완성하고 있다는 뜻이라 정상 폭주에 가깝습니다. 발급만 폭증하고 돌아오지 않으면 위조 SYN flood를 의심합니다.
SYN_RECV) → accept 큐(ESTABLISHED) 두 단계로 받고, accept 큐는 min(somaxconn, backlog)로 제한되며 애플리케이션 accept()가 비웁니다.tcp_syncookies=1은 큐 오버플로 시에만 작동하는 안전장치입니다.