🌐

SYN flooding 공격과 syncookie 방어

최민석·2026-06-15

CPU와 메모리 사용률은 절반도 안 되는데 신규 연결만 자꾸 타임아웃되는 서버가 있다고 합시다. 자원이 남는데도 연결이 거부된다면 범인은 자원이 아니라 TCP 연결 큐인 경우가 많습니다.

이 글에서는 TCP가 연결을 어떻게 받아들이는지, 그 과정에서 큐가 어떻게 넘치는지, 그리고 SYN flooding 공격과 방어책인 syncookie의 동작을 Linux 커널 기준으로 정리합니다.

💡 글의 흐름은 Alibaba Cloud의 TCP SYN Queue and Accept Queue Overflow Explained를 참고했습니다.

TCP 연결은 두 단계로 받는다

TCP 연결은 3-way handshake로 수립됩니다. 클라이언트가 SYN을 보내고, 서버가 SYN+ACK로 응답하고, 클라이언트가 ACK로 확인하는 세 번의 교환입니다.

sequenceDiagram participant C as 클라이언트 participant S as 서버 C->>S: ① SYN Note over S: SYN_RECV 상태<br/>SYN 큐에 등록 S-->>C: ② SYN + ACK C->>S: ③ ACK Note over S: ESTABLISHED 상태<br/>SYN 큐 → accept 큐로 이동 S->>S: 애플리케이션이 accept() 호출<br/>accept 큐에서 꺼냄

서버 입장에서 연결은 두 개의 큐를 거칩니다.

  • SYN 큐(반연결 큐, half-connection queue): SYN을 받고 SYN+ACK를 보낸 뒤, 클라이언트의 ACK를 기다리는 SYN_RECV 상태의 연결이 들어갑니다.
  • accept 큐(완전연결 큐, full-connection queue): 클라이언트의 ACK까지 받아 ESTABLISHED가 된 연결이 들어가, 애플리케이션의 accept() 호출을 기다립니다.

TCP의 두 연결 큐

accept 큐는 애플리케이션이 accept()를 호출해야 비워집니다. 애플리케이션이 느려지면(스레드 풀 고갈, GC 멈춤, 백엔드 호출 지연 등) accept 큐가 비워지지 못하고 쌓이다가 넘칩니다. 자원과 무관하게 연결이 거부되는 장애는 대개 여기서 시작됩니다.

큐 크기를 정하는 파라미터

accept 큐

accept 큐의 최대 길이는 다음과 같습니다.

max_length=min⁡(somaxconn, backlog)\text{max\_length} = \min(\text{somaxconn},\ \text{backlog})
  • somaxconn: 시스템 전역 파라미터(/proc/sys/net/core/somaxconn, 기본 128)
  • backlog: 애플리케이션이 listen(fd, backlog)에 넘기는 값

둘 중 작은 값이 한계입니다. 애플리케이션에서 backlog를 크게 줘도 somaxconn이 작으면 거기서 막히고, 반대도 마찬가지입니다. 참고로 Go는 listen의 backlog로 somaxconn 값을 그대로 사용합니다.

SYN 큐

SYN 큐의 길이 계산은 좀 더 복잡합니다.

backlog=min⁡(somaxconn, backlog)n=min⁡(backlog, tcp_max_syn_backlog)n=max⁡(n, 8)n=roundup_pow2⁡(n+1)max_length=2max⁡(3, log⁡2n)\begin{aligned} \text{backlog} &= \min(\text{somaxconn},\ \text{backlog}) \\ n &= \min(\text{backlog},\ \text{tcp\_max\_syn\_backlog}) \\ n &= \max(n,\ 8) \\ n &= \operatorname{roundup\_pow2}(n + 1) \\ \text{max\_length} &= 2^{\max(3,\ \log_2 n)} \end{aligned}

여기서 nn은 커널의 nr_table_entries이고, roundup_pow2⁡(⋅)\operatorname{roundup\_pow2}(\cdot)는 인자보다 크거나 같은 가장 작은 2의 거듭제곱으로 올리는 연산입니다. somaxconn\text{somaxconn}·backlog\text{backlog}·tcp_max_syn_backlog\text{tcp\_max\_syn\_backlog}(기본 1024) 세 값이 함께 관여하며, 결과는 항상 2의 거듭제곱으로 라운딩됩니다.

큐가 넘치면

  • accept 큐가 가득 찬 상태에서 ACK가 오면, 기본 동작은 그 ACK를 조용히 버리는 것입니다. 클라이언트는 이미 ESTABLISHED라고 여기는데 서버는 아직 아니어서 상태가 어긋나고, 연결이 늘어지다 타임아웃됩니다. tcp_abort_on_overflow=1로 두면 ACK를 버리는 대신 RST를 보내 클라이언트가 빠르게 실패를 인지하게 할 수 있습니다.
  • SYN 큐가 가득 찬 상태에서 SYN이 오면, 뒤에서 볼 tcp_syncookies 설정에 따라 동작이 갈립니다.
파라미터 경로 기본값 역할
somaxconn /proc/sys/net/core/somaxconn 128 accept 큐 전역 상한
tcp_max_syn_backlog /proc/sys/net/ipv4/tcp_max_syn_backlog 1024 SYN 큐 크기 계산 상한
tcp_syncookies /proc/sys/net/ipv4/tcp_syncookies 1 SYN flood 방어 동작 제어
tcp_abort_on_overflow /proc/sys/net/ipv4/tcp_abort_on_overflow 0 accept 큐 가득 시 RST 전송 여부

SYN flooding 공격

SYN을 받으면 서버는 SYN 큐에 엔트리를 하나 만들고, 거기에 클라이언트의 초기 시퀀스 번호와 협상된 옵션(MSS, window scale 등)을 저장합니다. 이 엔트리는 클라이언트의 ACK가 오기 전까지 메모리에 남습니다. 공격자가 노리는 빈틈이 바로 이 지점입니다.

공격자는 출발지 IP를 위조한 SYN만 잔뜩 보내고 ACK는 보내지 않습니다. 서버가 보낸 SYN+ACK는 존재하지 않거나 무관한 IP로 가서 응답이 없고, 엔트리는 타임아웃까지 큐를 점유합니다. SYN 큐가 가득 차면 정상 클라이언트의 SYN까지 거부됩니다.

SYN flooding 공격

이 공격이 효과적인 이유는 자원 소모가 비대칭적이기 때문입니다. 공격자는 SYN 패킷 한 개만 보내면 되지만, 서버는 상태를 저장하고 SYN+ACK를 재전송하며 타이머까지 유지해야 합니다. 적은 비용으로 서버의 연결 수용 능력을 마비시킬 수 있습니다.

syncookie 방어

⚠️ 이름만 cookie일 뿐, HTTP의 쿠키와는 아무 관련이 없습니다. 브라우저가 저장하는 세션 쿠키나 Set-Cookie 헤더와 혼동하기 쉬운데, syncookie는 TCP 계층(L4)에서 동작하는 별개의 메커니즘입니다.

syncookie의 핵심 아이디어는 SYN 큐에 상태를 저장하지 않는 것입니다. 대신 그 상태를 서버가 보내는 SYN+ACK의 시퀀스 번호(서버 ISN)에 인코딩해서 클라이언트에게 떠넘깁니다.

이게 가능한 건 handshake의 규칙 덕분입니다. 클라이언트는 서버가 보낸 SYN+ACK의 시퀀스 번호에 +1 한 값을 ACK 번호로 되돌려줍니다. 따라서 서버가 ISN을 난수 대신 연결 상태를 담은 값으로 만들어 두면, 돌아온 ACK 번호에서 그 상태를 다시 꺼낼 수 있습니다.

sequenceDiagram participant C as 클라이언트 participant S as 서버 (큐 가득 참) C->>S: ① SYN Note over S: SYN 큐에 저장하지 않음<br/>상태를 ISN에 인코딩 S-->>C: ② SYN+ACK (seq = 쿠키) Note over S: 아무것도 기억하지 않고 잊음 C->>S: ③ ACK (ack = 쿠키 + 1) Note over S: ack - 1을 비밀키로 검증<br/>유효하면 그 자리에서 연결 생성

위조 SYN이 아무리 쏟아져도 서버는 상태를 만들지 않으니 SYN 큐가 차지 않습니다. 위조 IP로 간 SYN+ACK는 어차피 ACK로 돌아오지 않으므로 그냥 사라집니다.

쿠키 안에 무엇이 들어가나

이 32비트 시퀀스 번호(쿠키)는 대략 이렇게 구성됩니다.

syncookie의 32비트 구성

  • 상위 비트 — 타이머 카운터: 약 64초마다 증가하는 값입니다. 시간 정보를 넣어 일정 시간이 지나면 쿠키를 무효화합니다(재전송·재사용 방지).
  • 나머지 비트 — MAC + MSS: 4-tuple(출발지/목적지 IP·포트)과 카운터, 그리고 서버만 아는 비밀키를 섞은 해시(MAC)에 MSS 정보를 함께 인코딩합니다.

ACK가 돌아오면 서버는 같은 4-tuple·카운터·비밀키로 MAC을 다시 계산해 일치하는지 확인합니다. 비밀키를 모르는 공격자는 유효한 쿠키를 위조할 수 없습니다. 상태를 저장하지 않으면서도 암호학적으로 검증한다는 것이 syncookie의 요지입니다.

tcp_syncookies 값과 한계

/proc/sys/net/ipv4/tcp_syncookies는 세 가지 값을 가집니다.

값 동작
0 비활성. SYN 큐가 차면 SYN을 그냥 드롭
1 (기본) 평소엔 일반 경로(SYN 큐)를 쓰고, SYN 큐가 넘칠 때만 syncookie로 폴백
2 항상 syncookie 사용 (주로 테스트용)

기본값 1은 상시 동작이 아니라 큐 오버플로 시에만 작동하는 폴백입니다. 평소엔 옵션 손실 없는 일반 경로를 쓰다가, 큐가 차서 SYN을 버려야 할 순간에만 쿠키를 발급해 연결을 살립니다.

syncookie는 공짜가 아닙니다. 상태를 32비트에 욱여넣는 트릭이라 잃는 것이 있습니다.

  • TCP 옵션 손실: ISN에는 MSS 정도만 겨우 담깁니다. window scaling, SACK 같은 옵션은 저장할 자리가 없습니다. tcp_timestamps가 켜져 있으면 SYN+ACK의 timestamp 필드에 일부 옵션을 추가로 인코딩해 손실을 완화합니다.
  • SYN+ACK 재전송 불가: 서버가 상태를 안 가지고 있으니 SYN+ACK가 유실돼도 재전송할 수 없습니다. 다만 클라이언트가 SYN을 재전송하면 새 쿠키가 발급됩니다.

이런 trade-off 때문에 syncookie는 성능 기능이 아니라 과부하·공격 상황에서 가용성을 지키는 안전장치에 가깝습니다.

큐 상태를 관찰하는 법

현재 큐 상태는 ss로 봅니다.

ss -lnt        # -l listen, -n 숫자, -t tcp

Recv-Q / Send-Q는 소켓 상태에 따라 의미가 다르다

ss(와 netstat)의 Recv-Q·Send-Q는 소켓의 State가 무엇이냐에 따라 의미가 완전히 달라집니다. 이걸 모르면 출력을 오독하기 쉽습니다.

컬럼 LISTEN 소켓 LISTEN이 아닌 소켓 (ESTABLISHED 등)
Recv-Q 현재 accept 큐에 쌓인 연결 개수 수신 버퍼에서 아직 앱이 안 읽은 바이트 수
Send-Q accept 큐의 최대 길이(backlog) 보냈지만 아직 ACK 안 받은 바이트 수

LISTEN 소켓에는 데이터 송수신 개념이 없어서, 커널이 이 두 컬럼을 연결 큐 카운터로 재활용합니다. 그래서 출력을 볼 때 그 줄의 State를 먼저 확인해야 합니다.

LISTEN 소켓에서는 이 글에서 다룬 accept 큐가 보입니다.

ss -lnt
State    Recv-Q   Send-Q   Local Address:Port
LISTEN   0        128      0.0.0.0:8080
LISTEN   5        128      0.0.0.0:9090

Recv-Q는 핸드셰이크를 마쳐 ESTABLISHED가 됐지만 앱이 아직 accept()로 꺼내가지 않은 연결 수, Send-Q는 accept 큐의 최대 길이(min(somaxconn, backlog), 위에서는 128)입니다. 정상이라면 Recv-Q는 거의 항상 0입니다(8080). Recv-Q가 차오르거나 Send-Q에 근접하면(9090) 앱의 accept()가 유입 속도를 못 따라간다는 뜻이고, Recv-Q가 Send-Q에 도달하는 순간부터 accept 큐 오버플로가 나서 새 연결의 ACK가 버려집니다. 여기에 SYN 큐 상태는 나오지 않습니다. SYN 큐는 아래 netstat -s·nstat 카운터로 봐야 합니다.

ESTABLISHED 소켓에서는 두 컬럼이 버퍼의 미처리 바이트를 가리킵니다.

ss -nt
State   Recv-Q   Send-Q   Local Address:Port   Peer Address:Port
ESTAB   24300    0        10.0.0.1:8080        10.0.0.9:51240
ESTAB   0        137820   10.0.0.1:8080        10.0.0.9:51250

Recv-Q가 지속적으로 크면 내 쪽 앱이 문제입니다. 커널은 데이터를 받아뒀는데 앱이 read()로 못 가져가고 있다는 뜻입니다(블로킹된 스레드, 느린 컨슈머 등). 수신 버퍼 한계까지 차면 TCP가 상대에게 window 0을 광고해 흐름을 멈춥니다. 반대로 Send-Q가 지속적으로 크면 네트워크나 상대 쪽을 의심합니다. 내가 보낸 데이터가 ACK로 확정되지 않고 있다는 뜻입니다(정체, 패킷 손실, 상대의 작은 수신 window 등).

누적 카운터는 netstat나 nstat로 봅니다.

netstat -s | grep -i listen
# ... times the listen queue of a socket overflowed  → accept 큐 오버플로 누적
# ... SYNs to LISTEN sockets dropped                 → SYN 큐 드롭 누적

nstat -az | grep -i syncookie
# TcpExtSyncookiesSent    : 발급한 쿠키 수 (= SYN 큐 오버플로로 폴백 발생)
# TcpExtSyncookiesRecv    : ACK로 돌아와 검증 성공한 쿠키 수
# TcpExtSyncookiesFailed  : 검증 실패한 쿠키 수

한 번 찍힌 절대값보다 증가 추세를 보는 게 중요합니다. SyncookiesSent가 늘고 있다면 SYN 큐가 넘쳐서 안전장치가 작동 중이라는 신호입니다.

공격이 아니어도 SYN은 몰릴 수 있다

SyncookiesSent가 올라간다고 곧바로 공격은 아닙니다. 정상 트래픽에서도 SYN이 큐 용량을 넘기는 경우가 흔합니다.

  • 갑작스러운 정상 트래픽 폭주: 티켓 오픈, 선착순 이벤트, 푸시 알림 직후 등 실제 사용자가 동시에 몰리는 경우. 공격과 패턴이 거의 구분되지 않습니다.
  • 재접속 폭풍: 서버·로드밸런서 재시작 후 끊긴 클라이언트들이 일제히 재연결하거나, 마이크로서비스가 부팅하며 커넥션 풀을 한 번에 채우는 경우.
  • 느린 accept(): SYN이 많아서가 아니라 큐가 안 비워져서 생깁니다. accept 큐가 차면 새 연결이 SYN_RECV에 머물며 SYN 큐도 압박을 받습니다.
  • 높은 지연·패킷 손실: RTT가 큰 경로에서는 ACK가 돌아오기까지 시간이 걸려 동시에 머무는 half-open 연결이 많아집니다.
  • 경로 비대칭·방화벽 오설정: 돌아오는 ACK가 차단되면 클라이언트는 정상인데도 서버 SYN 큐에 엔트리가 쌓입니다. 증상은 공격과 똑같이 보입니다.

공격과 정상 폭주를 가르는 단서로는 SyncookiesSent 대비 SyncookiesRecv가 쓸 만합니다. 발급한 쿠키가 ACK로 돌아와 검증에 성공한다면(Recv 증가) 진짜 클라이언트들이 연결을 완성하고 있다는 뜻이라 정상 폭주에 가깝습니다. 발급만 폭증하고 돌아오지 않으면 위조 SYN flood를 의심합니다.

정리

  • TCP 서버는 연결을 SYN 큐(SYN_RECV) → accept 큐(ESTABLISHED) 두 단계로 받고, accept 큐는 min(somaxconn, backlog)로 제한되며 애플리케이션 accept()가 비웁니다.
  • 큐가 넘치면 기본적으로 패킷을 조용히 버리기 때문에, 자원이 멀쩡해도 연결 타임아웃이 납니다.
  • SYN flooding은 위조 SYN으로 SYN 큐를 채워 정상 연결을 막는 공격입니다.
  • syncookie는 상태를 SYN 큐에 저장하는 대신 SYN+ACK의 시퀀스 번호에 인코딩해 떠넘기고, ACK가 돌아올 때 비밀키로 검증합니다. HTTP 쿠키와는 무관하며, tcp_syncookies=1은 큐 오버플로 시에만 작동하는 안전장치입니다.

관련 포스트