🐝

라우팅 테이블 12줄로 클러스터 전체 읽기

최민석·2026-06-05

라우팅 테이블 12줄로 클러스터 전체 읽기

Cilium

🔍 Cilium 스터디 시리즈

Chap1에서 커널의 패킷 처리 기초(물류센터 다섯 단계, 버릴 것이라면 일찍 버려라, ARP와 프로미스큐어스)를 잡았습니다. 이번 편에서는 실제 운영 중인 Cilium 클러스터에 들어가서, 전부 읽기 전용 명령만으로 클러스터의 네트워크 설계를 직접 읽어봅니다.

💡 실습 환경: 온프레미스 6노드 클러스터 (컨트롤플레인 3 + 워커 3, v1.30) + Cilium 1.18.2, Native Routing 모드, kube-proxy 없음.



라우팅 테이블 12줄로 클러스터 전체가 읽힌다

워커 노드에서 ip route를 치면, 이 노드의 라우팅 테이블 안에 사실상 클러스터 전체 네트워크 설계가 들어 있습니다. 세 그룹으로 나눠 읽어보겠습니다.

# 그룹 A: 평범한 서버의 라우팅
default via 10.0.0.254 dev ens18        # 모르는 목적지는 전부 공유기로
10.0.0.0/24 dev ens18                   # 같은 동네(노드들)는 직접 전달

# 그룹 B: 다른 노드의 파드들로 가는 길
172.20.0.0/24 via 10.0.0.111            # worker-node01의 파드들 → 그 노드 IP로
172.20.1.0/24 via 10.0.0.101            # control-plane01의 파드들
172.20.2.0/24 via 10.0.0.102
172.20.3.0/24 via 10.0.0.103
172.20.4.0/24 via 10.0.0.112
...

# 그룹 C: 내 노드의 파드들
172.20.5.0/24 dev cilium_host           # 내 파드들은 cilium_host 문으로

그룹 B를 보면 이 클러스터의 동작 방식이 거의 드러납니다. 이 클러스터는 Cilium의 Native Routing 모드인데, 그 실체가 바로 이 여섯 줄입니다. flannel(VXLAN)이라면 패킷을 캡슐화해서 터널로 보내겠지만, 이 클러스터는 "노드02네 파드? 노드02 IP로 보내면 걔가 알아서 해"라는 평범한 라우팅 규칙으로 해결합니다. 캡슐화 비용이 없는 대신, 모든 노드가 같은 L2에 있어야 한다는 조건이 붙습니다.

파드 A(worker-node03)가 다른 노드의 파드 B(172.20.4.55)에게 패킷을 보내는 전체 여정을 그리면 다음과 같습니다.

native routing 파드 간 패킷의 여정


이해했는지 점검할 겸 세 문제를 풀어봤습니다. 커널은 항상 가장 구체적인 줄을 고른다는 것만 기억하면 됩니다.

Q1. 파드가 172.20.4.55(노드02의 파드)로 보내면?

172.20.4.0/24 via 10.0.0.112에 매칭됩니다. ens18로 나가고 next hop은 10.0.0.112, ARP 주소록에서 그 MAC을 찾아 배달합니다. 위 다이어그램 그대로입니다.

Q2. 파드가 8.8.8.8로 보내면?

어떤 구체적인 줄에도 걸리지 않으니 default via 10.0.0.254입니다. 여기서 제가 했던 오답이 있는데, "10.0.0.113(노드 IP)으로 간다"고 답했습니다. 노드 IP가 등장하긴 하지만 목적지 경로가 아니라 출발지 칸에 등장합니다. 다음 장에서 이어집니다.

Q3. 같은 노드의 파드 172.20.5.50으로 보내면 물리 NIC를 거칠까?

거치지 않습니다. ARP 테이블에 단서가 있었습니다: 172.20.5.50 dev lxce24126958c32. lxc*는 파드마다 하나씩 있는 가상 케이블(veth pair)의 노드 쪽 끝이고, 같은 노드 파드 간 통신은 케이블에서 케이블로, 전부 커널 메모리 안에서 끝납니다.

💡 미묘한 점이 하나 있습니다. 라우팅 표에는 172.20.5.0/24 dev cilium_host라고 적혀 있는데 실제 배달은 각 파드의 lxc 케이블로 직행했습니다. 이 "표와 실제의 차이"가 eBPF가 중간에서 만드는 지름길(redirect) 때문인데, 데이터패스 편에서 자세히 봅니다.



라우팅과 변장(NAT)은 다른 질문이다

Q2에서 틀린 이유를 정리하면, 패킷이 나갈 때 커널은 서로 다른 두 질문에 답합니다.

라우팅:  "이 패킷을 어느 문으로, 누구에게 넘길까?"   → ens18, next hop 10.0.0.254
NAT:    "보내는 사람 이름을 뭐라고 적을까?"          → 172.20.5.x → 10.0.0.113

파드 IP(172.20.5.x)는 인터넷이 모르는 사설 주소라 그대로 나가면 답장을 받을 수 없습니다. 그래서 노드가 나가는 패킷의 출발지를 자기 IP로 바꿔치기합니다. masquerade(변장)라는 이름 그대로입니다. 이 규칙의 실물도 클러스터에서 확인할 수 있습니다.

$ iptables-save -t nat | grep MASQUERADE
-A CILIUM_POST_nat -s 172.20.5.0/24    # 내 파드들이 보낸 패킷인데
   ! -d 172.20.0.0/16                  # 목적지가 클러스터 내부가 아니면
   -j MASQUERADE                       # 변장시켜라
   --comment "cilium masquerade non-cluster"

상황 파드의 IP는?
클러스터 안에서 파드끼리 자기 IP 그대로 — native routing이 끝까지 배달, 변장 없음
클러스터 밖으로 나갈 때 노드 IP로 변장(SNAT) — 노드 IP를 가진 것이 아니라 출발지로 잠시 쓰는 것


파드인데 노드 IP를 쓰는 애들의 정체 - hostNetwork

kubectl get pods -A -o wide를 보면 IP가 두 부류입니다. 대부분은 172.20.x.x인데, 일부가 노드 IP(10.0.0.x)를 그대로 씁니다. 처음에는 "모든 파드가 둘 다 갖는 건가?" 싶었는데, 아닙니다. 모든 파드는 둘 중 하나만 갖습니다.

$ kubectl get pods -A --field-selector spec.nodeName=worker-node03 \
    -o custom-columns=NAME:.metadata.name,HOSTNET:.spec.hostNetwork,POD_IP:.status.podIP

NAME                  HOSTNET   POD_IP
metallb-speaker-...   true      10.0.0.113     # 노드 IP "만"
cilium-2b75w          true      10.0.0.113
nexus-...             <none>    172.20.5.50    # 자기 IP "만"
bedrock-server-0      <none>    172.20.5.254

VM을 써본 사람에게 와닿는 비유로 정리하면 이렇습니다.

VM 세계 컨테이너 세계 네트워크상의 정체
브릿지 모드 VM 일반 파드 (172.20.x) 별도 IP와 네트워크 스택을 가짐
(해당 없음) hostNetwork 파드 별도 네트워크 스택 없이 호스트에서 프로세스를 직접 띄운 것과 동일

spec.hostNetwork: true는 "격리된 네트워크 세계를 만들지 말고 노드 것을 그대로 써라"는 뜻입니다. IP도 포트 공간도 라우팅 표도 노드 것 그대로입니다. 참고로 이것은 Cilium 기능이 아니라 쿠버네티스 파드 스펙입니다.


이 클러스터에서 hostNetwork 파드를 전수조사해 보면 딱 두 부류가 나옵니다.

6 cilium            # 노드 NIC에 eBPF를 붙여야 하는 CNI 에이전트 (노드당 1)
6 cilium-envoy
6 metallb-speaker   # LoadBalancer IP의 ARP 응답 담당
3 kube-apiserver / 3 etcd / 3 kube-scheduler / 3 kube-controller-manager
2 cilium-operator

첫 번째 부류는 노드의 네트워크 장비 자체를 만지는 것이 직업인 데몬들입니다. 두 번째 부류가 더 재미있는데, 순환 의존 때문입니다.

파드망(172.20.x)은 Cilium이 만든다 → Cilium은 API 서버에 접속해야 동작한다 → 그런데 API 서버가 파드망 IP를 쓴다면? → 자기가 의존하는 것을 자기가 만들어야 하는 순환에 빠진다.



클러스터는 사다리처럼 부팅된다

그래서 클러스터의 콜드 부팅은 아래 단계부터 하나씩 올라가는 구조입니다.

부트스트랩 사다리


"DNS도 먼저 있어야 하는 것 아닌가?"라는 의문이 들었는데, 0~1층의 누구도 이름을 해석하지 않습니다. kubelet의 kubeconfig에도, Cilium의 설정(k8sServiceHost)에도 API 서버는 IP 숫자로 박혀 있습니다. DNS가 필요한 일은 3층에서 처음 생기므로, coredns는 2층(일반 파드)에 살아도 모순이 없습니다. kubeadm으로 클러스터를 만들 때 CNI 설치 전까지 coredns만 Pending인 것이 바로 이 의존성이 눈에 보이는 순간입니다.

그러면 파드들은 DNS 서버 주소를 어떻게 알까요? DNS로 찾을 수는 없을 텐데요. 답은 똑같습니다. 하드코딩입니다. kubelet이 모든 파드의 /etc/resolv.conf에 nameserver 10.96.0.10(kube-dns 서비스의 고정 ClusterIP)을 숫자로 박아 넣습니다. 적어도 이 부트스트랩 구간에서는 순환 의존을 고정 IP 하나로 끊고 있었습니다.



eBPF와 iptables의 역할 분담

마지막 의문입니다. Cilium은 eBPF를 쓴다는데, 왜 ip neigh니 iptables니 하는 것들이 여전히 의미가 있을까요?

커널 안에는 서로 다른 부서 셋이 있고, 패킷은 나갈 때 셋을 순서대로 거칩니다.

부서 명령 비유 하는 일
라우팅 테이블 ip route 내비게이션 어느 문으로, 누구에게
네이버(ARP) 테이블 ip neigh 주소록 그 IP의 MAC은
netfilter iptables-save 검문소 규칙집 통과 / 차단 / 변장

eBPF가 갈아치우는 것은 검문소 직원이지, 주소록과 내비가 아닙니다. 실측 결과를 보면 명확합니다.

$ iptables-save | grep -c KUBE-SVC     # kube-proxy의 서비스 변환 체인
0                                       # 흔적도 없음. eBPF가 완전 대체
$ iptables-save | grep -c CILIUM       # 그런데 Cilium이 직접 써넣은 규칙은
43                                      # 있다 (앞서 본 변장 규칙 등)

현재 분업표는 다음과 같습니다.

기능 담당
서비스 LB (ClusterIP 변환) eBPF (kube-proxy 대체 — KUBE-SVC 0개가 증거)
네트워크 정책 eBPF
연결 추적 eBPF (자체 conntrack 맵)
변장 (masquerade) 아직 iptables — Cilium이 직접 규칙을 써넣어 위임 (eBPF화 옵션 있음)
라우팅 테이블 / 주소록 커널 공용 시설 그대로 — eBPF 프로그램조차 이 표들을 조회해서 사용

이번에 가장 크게 정리된 부분은 마지막 줄이었습니다. eBPF는 커널을 대체하는 것이 아니라 커널 안에 삽니다. 그래서 Cilium 클러스터에서도 ip route와 ip neigh는 여전히 1급 관찰 도구이고, 우리는 그것으로 클러스터 전체를 읽을 수 있었습니다.

💡 제가 이해한 "iptables의 시대가 저문다"는 말은, 검문소의 규칙 평가 방식(선형 탐색 → eBPF 맵 조회)이 바뀐다는 뜻에 가깝습니다. 커널의 주소록과 내비게이션이 사라지는 것은 아닙니다.



TL;DR

이번 편의 핵심을 정리하면 다음과 같습니다.

  1. Native Routing 모드의 실체는 라우팅 테이블의 "다른 노드 파드망 → 그 노드 IP" 여섯 줄이다. 캡슐화가 없는 대신 모든 노드가 같은 L2에 있어야 한다.
  2. 라우팅(어디로 보낼까)과 NAT(출발지를 뭐라고 적을까)는 다른 질문이다. 파드는 클러스터 밖으로 나갈 때만 노드 IP로 변장한다.
  3. 모든 파드는 자기 IP 또는 노드 IP 둘 중 하나만 갖는다. hostNetwork는 노드 인프라를 만지는 데몬과, 파드망보다 먼저 존재해야 하는 컨트롤플레인의 것이다.
  4. 부트스트랩의 순환 의존은 모두 "불변의 숫자 하나"(API 서버 VIP, 10.96.0.10)로 끊는다.
  5. eBPF는 커널을 대체하는 것이 아니라 커널 안에 산다. 갈아치우는 것은 검문소(netfilter의 일)이지, 주소록과 내비게이션이 아니다.

다음 편 예고

  • tcpdump로 ping 한 발의 ARP → ICMP 시퀀스를 눈으로 보기
  • ss로 소켓(사물함) 들여다보기 — 그리고 우리 노드가 VIP의 7443 포트와 나누는 수상한 대화의 정체
  • conntrack -L로 변장 장부의 실물 확인
  • 그다음: 쿠버네티스 없이 netns + veth + iptables만으로 파드 네트워크를 맨손으로 만들어보기

관련 포스트