
개요
지금까지 운영하던 클러스터들에서는 flannel과 calico만 사용해 왔습니다. 그러다 "Cilium이 좋다더라"는 말만 듣고 새 클러스터의 CNI로 Cilium을 채택했고, 설치 과정에서 묻는 질문들(kube-proxy를 대체하시겠습니까?)에 의미도 모른 채 "예"를 눌렀습니다.
클러스터는 잘 돌아갑니다. 하지만 왜 잘 돌아가는지 설명할 수 없다면, 장애가 났을 때 어디서부터 봐야 할지도 막막하겠다는 생각이 들었습니다. 그래서 이번에 Cilium을 바닥부터, 정확히는 리눅스 커널 네트워킹부터 다시 배우기로 했고 그 과정을 시리즈로 남깁니다.
저의 출발선은 이렇습니다. CKA는 있고 쿠버네티스는 중급 정도, 하지만 리눅스 커널과 eBPF는 사실상 초심자입니다. 저처럼 Cilium은 써봤지만 커널/eBPF 쪽은 낯선 분들을 위한 기록입니다.
💡 실습 환경: 온프레미스 6노드 클러스터 (컨트롤플레인 3 + 워커 3, v1.30, Ubuntu 22.04, 커널 5.15) + Cilium 1.18.2. 모든 실습은 읽기 전용이거나 즉시 복구 가능한 명령으로만 진행합니다.
Cilium 문서를 펴기 전에, 평범한 리눅스 서버가 패킷 하나를 받는 과정부터 보겠습니다. 서버를 물류센터라고 생각하면 다섯 단계로 나뉩니다.

용어는 일단 두 개만 기억하면 됩니다.
먼저 skb(sk_buff)는 패킷이 커널에 들어오는 순간 만들어지는 "운송장 붙은 상자"입니다. 커널 안에서 패킷은 항상 이 구조체의 형태로 돌아다니며, 앞으로 Cilium 문서에서 무한히 만나게 됩니다.
다음으로 훅(hook)은 위 경로 중간중간에 있는 "검문소 설치 가능 지점"입니다. iptables도, 이 시리즈의 주인공인 eBPF도 결국 어느 검문소에 앉느냐의 문제입니다. 다이어그램에 점선으로 표시한 XDP, TC가 eBPF가 앉을 수 있는 자리들입니다.
공부하다가 의문이 하나 들었습니다. 패킷이 엄청나게 쏟아지면, 내 IP를 겨냥한 게 아니어도 분류 작업대([3])에 부하가 걸리지 않을까?
답은 "대부분은 아니지만, 걱정한 상황도 실제로 있다"였습니다. 하역장 앞에 이미 필터가 두 겹 있기 때문입니다.
[0a] 스위치 수신자의 MAC이 연결된 포트로만 전달 (남의 택배는 우리 동네에 안 옴)
[0b] NIC 하드웨어 목적지 MAC이 내 것/브로드캐스트가 아니면 하드웨어가 폐기.
인터럽트조차 발생하지 않음 → CPU 비용 0
하지만 필터를 통과해 들어온 원치 않는 패킷은 진짜 부하가 됩니다. 세 가지 경우가 있습니다.
첫째, MAC은 나인데 IP는 내가 아닌 패킷입니다. [3]까지 올라와 IP 헤더를 확인한 뒤에야 "내 것이 아니니 버리거나 전달"이 결정되는데, 이미 skb 생성과 인터럽트 비용을 다 낸 뒤입니다. 그리고 쿠버네티스 노드에서 이것은 비정상이 아니라 일상입니다. 노드는 파드들의 공유기 역할을 하기 때문인데, 다음 편에서 실측해 보겠습니다.
둘째, 브로드캐스트입니다. ARP 요청 같은 것으로, 같은 L2에 있는 모든 장비가 비용을 조금씩 냅니다.
셋째, DDoS입니다. 공격자는 내 IP를 정확히 겨냥합니다. 닫힌 포트로 쏟아지는 쓰레기 패킷도 [1]→[2]→[3]을 전부 통과한 뒤에야 버려집니다. 버리는 데에도 비용이 듭니다.
여기서 중요한 기준이 하나 생깁니다. 버릴 것이라면 최대한 일찍 버려야 합니다.

가장 이른 소프트웨어 검문소에 앉을 수 있는 기술이 eBPF의 XDP(eXpress Data Path)입니다. iptables는 구조적으로 [3]에만 앉을 수 있지만, XDP는 skb를 만들기도 전인 드라이버 단계에서 바로 폐기합니다. 같은 CPU로 훨씬 더 많은 쓰레기 패킷을 버틸 수 있는 이유이고, Cilium의 DDoS 방어가 이것을 사용합니다. 자세한 내용은 eBPF 편에서 다루겠습니다.
실습을 하다 보니 학부 네트워크 수업에서 스쳐 갔던 단어들이 실물로 등장했습니다.
IP로 보내고 싶지만 실제 배달은 MAC으로 해야 하니, 둘을 잇는 절차가 ARP입니다.
나: "10.0.0.112 쓰는 사람 누구야? MAC 알려줘!" ← 브로드캐스트
상대: "나야. bc:24:11:fe:82:5a로 보내." ← 유니캐스트 응답
나: (주소록에 기록) ← 이 주소록이 ip neigh
옛날 도구는 arp -a, 현대 도구(iproute2)는 ip neigh로, 같은 커널 표의 신구(新舊) 명칭입니다. 요즘 이름이 "neighbor(이웃) 테이블"인 이유는 IPv6에서는 ARP가 아니라 NDP라는 다른 프로토콜이 같은 역할을 하기 때문에, 둘을 묶을 중립적인 이름이 필요했기 때문입니다.
$ ip neigh
10.0.0.112 dev ens18 lladdr bc:24:11:fe:82:5a REACHABLE # 최근 확인된 항목
10.0.0.254 dev ens18 lladdr 0c:96:cd:9c:53:b8 STALE # 오래됨, 쓰기 전 재확인
앞서 본 [0b] 필터("내 MAC이 아니면 하드웨어가 버린다")에는 예외가 있습니다. NIC에게 "필터를 끄고 보이는 것을 전부 올려보내라"고 명령할 수 있는데, 이것이 promiscuous(무차별) 모드입니다.
학부 때 이 단어를 "스니핑"과 함께 배웠던 이유가 있습니다. 허브(hub) 시절에는 모든 트래픽이 모든 포트에 복사됐기 때문에, 아무 PC나 프로미스큐어스 모드를 켜면 같은 망의 남의 트래픽이 전부 보였습니다. 스위치가 보급되면서 [0a]에서 걸러지니, 지금은 켜도 기본적으로 내게 오는 것과 브로드캐스트만 보입니다.
그리고 이 모드의 합법적인 사용자가 바로 tcpdump입니다. 직접 확인해 보면 다음과 같습니다.
# 터미널 1에서 tcpdump를 켜둔 채, 터미널 2에서:
$ ip link show ens18
... <BROADCAST,MULTICAST,PROMISC,UP,LOWER_UP> ... # tcpdump 실행 중에만 나타남
# 이미 꺼버렸다면 커널 일지에서 사후 확인:
$ sudo dmesg | grep -i promisc
device ens18 entered promiscuous mode
device ens18 left promiscuous mode
💡
tcpdump -p옵션을 주면 프로미스큐어스를 켜지 않고 캡처합니다. 내게 오는 것만 보면 충분할 때 사용합니다.
덤으로, tcpdump를 SSH 터미널에서 그냥 켜면 관찰자 효과를 겪게 됩니다. tcpdump가 한 줄 출력 → SSH로 내 화면에 전송 → 그 SSH 패킷을 tcpdump가 또 캡처 → 또 출력... 내가 보는 순간, 그 출력 때문에 새 패킷이 생기는 루프에 빠집니다. 그래서 자기 SSH를 필터로 빼는 것이 정석입니다.
sudo tcpdump -i ens18 not port 22
이번 편에서는 Cilium을 만나기 전에 알아야 할 커널의 패킷 처리 기초를 잡았습니다. 핵심은 세 가지입니다.
ip neigh는 ARP 테이블의 현대식 이름이고, tcpdump는 프로미스큐어스 모드의 합법적 사용자다.다음 편에서는 실제 운영 중인 클러스터에 들어가서 라우팅 테이블 12줄로 Cilium 클러스터 전체를 읽어봅니다. 파드인데 노드 IP를 쓰는 수상한 녀석들의 정체와, eBPF를 쓴다면서 왜 iptables 규칙이 남아 있는지까지 다룹니다.