🐝

eBPF 첫 관찰: 훅에 꽂고, 맵에 쌓는다

최민석·2026-06-09

eBPF 첫 관찰: 훅에 꽂고, 맵에 쌓는다

Cilium

🔍 Cilium 스터디 시리즈

Chap2부터 Chap5까지는 라우팅 테이블, iptables, proxy ARP, conntrack 같은 커널의 전통적인 장치로 모든 것을 설명하고 직접 만들어 봤습니다. 그런데 Chap2의 TL;DR에서 "eBPF가 검문소(netfilter)를 갈아치웠다"고 했고, Chap4에서는 iptables가 ACCEPT인데도 패킷이 안 가는 현장을 봤습니다. 실제로 이 클러스터의 네트워크를 움직이는 주체는 우리가 읽던 그 커널 장치가 아니라 Cilium이 깔아 둔 eBPF였습니다.

이번 편에서는 그 eBPF를 처음으로 직접 들여다봅니다. eBPF가 무엇이고, 어디에 꽂혀 있으며, 무엇을 보고 결정하는지를 실제 클러스터의 프로그램들을 관찰하며 확인합니다. 그리고 마지막에는 깨끗한 VM에서 우리가 직접 eBPF 한 줄을 띄워 봅니다.

관찰 명령은 모두 읽기 전용입니다. bpftool과 cilium-dbg는 cilium 파드 안에 들어 있어, kubectl exec로 실행합니다. 직접 띄워보는 bpftrace 부분만 별도의 일회용 우분투 VM에서 진행했습니다(커널 기능이라 macOS에서는 안 됩니다).



eBPF는 커널에 꽂는 프로그램이다

eBPF를 한 줄로 말하면 커널에 작은 프로그램을 안전하게 꽂는 기술입니다. 예전에는 커널 동작을 바꾸려면 커널 모듈을 작성해 넣어야 했는데, 잘못하면 커널 전체가 멈춥니다. eBPF는 작은 프로그램을 정해진 자리에 끼우되, 커널이 먼저 검사해서 안전하다고 판단해야만 실행합니다. 운영 중인 커널에 위험 없이 기능을 더할 수 있는 셈입니다.

기둥은 세 개입니다.

eBPF의 세 기둥: 훅, Verifier, Maps


훅(Hook) 은 프로그램을 어디에 매다는가입니다. 커널의 특정 이벤트 지점에 프로그램을 걸면, 그 이벤트가 발생할 때마다 실행됩니다. 네트워크에서는 위치가 곧 성격입니다. NIC 드라이버 직후의 XDP가 가장 빠른 앞단이고, 그보다 위의 TC(traffic control)가 Cilium이 파드 케이블에 주로 쓰는 자리입니다.

Verifier(검증기) 는 프로그램을 꽂기 전에 검사합니다. 무한 루프가 없는지, 메모리 범위를 벗어나지 않는지, 반드시 종료하는지를 로드 시점에 정적 분석하고, 통과하지 못하면 거부합니다. 이 검증이 커널 모듈과 eBPF의 결정적 차이이자 "안전하게 꽂는다"의 근거입니다.

Maps(맵) 는 상태를 저장하는 곳입니다. eBPF 프로그램은 이벤트마다 잠깐 실행되고 끝나면 자기 스택 외에는 아무것도 기억하지 못합니다. 그래서 호출 사이의 기억, 프로그램 간 공유, 커널과 유저스페이스 사이의 전달을 전부 맵이라는 key-value 저장소로 합니다. 잠시 뒤에 보겠지만 Cilium의 endpoint, service, conntrack 정보가 모두 이 맵에 들어 있습니다.



Cilium이 깔아 둔 프로그램을 센다

먼저 이 노드에 eBPF 프로그램이 몇 개나 있는지 봅니다.

$ kubectl exec -n kube-system ds/cilium -c cilium-agent -- bpftool prog show | grep -cE '^[0-9]+:'
226

226개입니다. 그런데 이 중에는 Cilium 것이 아닌 것도 섞여 있습니다. bpftool prog show는 그 노드의 모든 eBPF를 보여주기 때문입니다. 타입별로 세어 보면 정체가 갈립니다.

$ kubectl exec -n kube-system ds/cilium -c cilium-agent -- bpftool prog show \
    | awk '/^[0-9]+:/{print $2}' | sort | uniq -c | sort -rn
    147 sched_cls
     60 cgroup_device
      8 cgroup_sock_addr
      8 cgroup_skb
      3 cgroup_sock
타입 누구 것 / 역할
sched_cls Cilium의 TC 데이터패스. lxc·cilium_host 등에 붙어 패킷을 처리하는 본체
cgroup_device 컨테이너 런타임(runc/containerd)의 디바이스 접근 제어. 네트워크와 무관
cgroup_sock_addr Cilium Socket LB. connect()를 후킹해 ClusterIP를 파드 IP로 바꾸는, Chap3의 유령 IP 그 장치
cgroup_skb, cgroup_sock cgroup 단위 패킷 필터, 소켓 훅

압도적으로 많은 것이 sched_cls 147개입니다. 개념에서 말한 "Cilium은 파드 케이블에 주로 TC 훅을 쓴다"가 숫자로 확인됩니다. cgroup_device 60개는 컨테이너 수만큼 런타임이 깔아 둔 것이라 우리 관심사가 아닙니다. 타입을 보지 않으면 226개를 전부 Cilium 것으로 오해하기 쉽습니다.



어디에 꽂혀 있나

타입을 알았으니 이제 그 프로그램들이 정확히 어느 인터페이스에 매달려 있는지 봅니다. 이것이 훅 지도입니다.

$ kubectl exec -n kube-system ds/cilium -c cilium-agent -- bpftool net show
xdp:

tc:
ens18(2) clsact/ingress  cil_from_netdev-ens18
ens18(2) clsact/egress   cil_to_netdev-ens18
cilium_net(3) clsact/ingress   cil_to_host-cilium_net
cilium_host(4) clsact/ingress  cil_to_host-cilium_host
cilium_host(4) clsact/egress   cil_from_host-cilium_host
lxc24a33555ae3e(8) clsact/ingress     cil_from_container-lxc24a33555ae3e
lxcf5d0ea6016f1(1058) clsact/ingress  cil_from_container-lxcf5d0ea6016f1
lxcfd48558f9649(1060) clsact/ingress  cil_from_container-lxcfd48558f9649
... (파드 수만큼 lxc 계속)

bpftool net show로 본 eBPF 훅 지도


xdp: 가 비어 있습니다. 이 클러스터는 XDP를 배치하지 않았다는 뜻이고, Chap1에서 예고했던 XDP early-drop은 여기서는 개념상으로만 존재합니다. 데이터패스는 전부 그 아래 tc: 에 있습니다.

물리 NIC인 ens18에는 들어오고(cil_from_netdev) 나가는(cil_to_netdev) 두 방향에 프로그램이 붙어 노드와 바깥 와이어 사이를 처리합니다. cilium_host는 파드망과 호스트 스택의 경계입니다. 그리고 lxc... 로 시작하는 것들이 Chap2에서 봤던 파드 케이블입니다. 파드 하나마다 하나씩 있고, 각각에 cil_from_container가 붙어 있습니다.

여기서 처음 보면 헷갈리는 점이 하나 있습니다. lxc의 ingress에 from_container가 붙어 있어 모순처럼 보입니다. 호스트 입장에서 보면 풀립니다. lxc는 호스트 쪽 veth 끝이고, 그 인터페이스의 ingress는 파드가 내보낸 패킷이 호스트로 들어오는 것입니다. 즉 파드의 egress가 호스트 lxc의 ingress입니다. 그래서 "container에서 온" 트래픽이 맞습니다.


같은 노드 파드끼리는 lxc에서 lxc로 직행한다

이 cil_from_container가 하는 일이 Chap4·5에서 계속 언급한 "표에는 cilium_host로 가라고 적혀 있는데 실제 배달은 lxc로 직행"의 실체입니다. 같은 노드의 파드 A가 파드 B로 패킷을 보낼 때를 따라가 봅니다.

같은 노드 파드 간 통신은 lxc에서 lxc로 직행한다


파드 A가 패킷을 내보내면 호스트 쪽 lxc(A)의 ingress에서 cil_from_container가 가장 먼저 받습니다. 이 프로그램이 endpoint 맵을 조회해 "파드 B는 같은 노드에 있고, 그 케이블은 lxc(B)"라는 것을 확인하면, bpf_redirect로 lxc(B)에 곧장 패킷을 꽂아 넣습니다. 호스트의 라우팅 테이블도, proxy ARP도, bridge도 거치지 않습니다. Chap4·5에서 우리가 ip_forward와 proxy ARP, 라우팅으로 손수 만들었던 "노드는 파드들의 라우터" 경로를, 같은 노드 안에서는 eBPF가 통째로 건너뛰는 것입니다. 노드가 다르면 endpoint 맵에서 "원격"임을 확인하고 커널 라우팅(fib_lookup)을 빌려 상대 노드로 보낸 뒤, 그 노드의 eBPF가 다시 lxc로 직행시킵니다.



프로그램이 보는 데이터, endpoint 맵

cil_from_container가 "파드 B는 어느 케이블"인지 판단할 때 읽는 것이 endpoint 맵입니다. 그 맵을 직접 볼 수 있습니다.

$ kubectl exec -n kube-system ds/cilium -c cilium-agent -- cilium-dbg bpf endpoint list
IP ADDRESS       LOCAL ENDPOINT INFO
172.20.5.221:0   id=1355  sec_id=48035  ifindex=1060  mac=F2:79:..  nodemac=26:74:..
172.20.5.228:0   id=3417  sec_id=13427  ifindex=1160  mac=92:94:..  nodemac=42:8A:..
172.20.5.91:0    id=1468  sec_id=21926  ifindex=1154  mac=86:2F:..  nodemac=CA:F9:..
...

각 줄은 파드 IP를 key로 해서 그 파드가 어느 lxc 인터페이스(ifindex)에 붙어 있는지, 보안 신원(sec_id)이 무엇인지를 담고 있습니다. 앞에서 본 bpftool net show와 맞춰 보면 그림이 완성됩니다. 예를 들어 172.20.5.221은 ifindex=1060이고, net show에서 ifindex 1060은 lxcfd48558f9649였습니다. 즉 어떤 파드가 172.20.5.221로 패킷을 보내면, cil_from_container가 이 맵에서 ifindex 1060을 찾아 bpf_redirect로 그 케이블에 꽂는 것입니다. 정적인 맵 데이터와 인터페이스 위의 프로그램이 이렇게 이어집니다.

sec_id는 잠시 뒤 monitor에서 다시 등장하니 기억해 둘 만합니다. Cilium은 IP가 아니라 이 보안 신원으로 트래픽을 식별하고 정책을 적용합니다. 같은 라벨을 가진 파드들은 같은 sec_id를 공유합니다.



실시간으로 발동하는 것을 본다

여기까지는 정적인 그림이었습니다. 프로그램 목록과 맵을 봤을 뿐입니다. 이제 트래픽이 흐를 때 이것이 실제로 발동하는 것을 cilium-dbg monitor로 봅니다.

다음 출력을 읽기 전에 이 값들을 먼저 기억해 두면 편합니다. monitor는 IP 대신 sec_id로 흐름을 표시하기 때문입니다.

주체 파드 IP endpoint id sec_id lxc(케이블)
nomoreidiots-backend 172.20.5.91 1468 21926 lxc36744c422b9b
nomoreidiots-mysql 172.20.5.221 1355 48035 lxcfd48558f9649

나중에 identity 21926->48035 가 보이면 backend에서 mysql로 가는 흐름이라는 뜻입니다.

$ kubectl exec -n kube-system ds/cilium -c cilium-agent -- cilium-dbg monitor -t trace
-> endpoint 1355 ... identity 21926->48035 state established ifindex lxcfd48558f9649 ... 172.20.5.91:54572 -> 172.20.5.221:3306 tcp ACK
-> endpoint 1468 ... identity 48035->21926 state reply       ifindex lxc36744c422b9b ... 172.20.5.221:3306 -> 172.20.5.91:54572 tcp ACK
-> stack    ... identity 1754->kube-apiserver state established ifindex 0 ... 172.20.5.113:58830 -> 10.0.0.101:10250 tcp ACK
-> endpoint 559 ... identity kube-apiserver->health ifindex lxc_health ... 10.0.0.102:45984 -> 172.20.5.199:4240 tcp ACK

첫 두 줄이 바로 우리가 기억해 둔 흐름입니다. identity 21926->48035, 출발지 172.20.5.91, 목적지 172.20.5.221:3306. nomoreidiots 백엔드가 자기 MySQL에 붙어 있는 연결입니다. 이 연결은 그 애플리케이션 코드에서 jdbc:mysql://nomoreidiots-mysql:3306으로 설정된 것이고, 두 파드 모두 같은 노드에 있어 앞서 본 lxc에서 lxc로의 직행으로 처리됩니다. 코드에서 확인한 연결이 endpoint 맵을 거쳐 라이브 이벤트까지 한 바퀴로 이어집니다.

정적 데이터에서 라이브 흐름까지 이어지는 한 바퀴


두 가지를 더 읽을 수 있습니다.

첫째, identity가 숫자일 때도 있고 이름일 때도 있습니다. 21926, 48035 같은 숫자는 워크로드 신원이고, kube-apiserver, health, host, remote-node, world 같은 이름은 예약된 특수 신원입니다. 흐름을 IP가 아니라 신원으로 분류하는 Cilium의 방식이 그대로 드러납니다.

둘째, 줄 맨 앞의 화살표가 eBPF의 forwarding 판정입니다. -> endpoint N (ifindex lxc...) 는 로컬 파드의 케이블로 redirect한 것이고, -> stack (ifindex 0) 은 목적지가 로컬 파드가 아니라 호스트 스택으로 올린 것입니다. 같은 노드면 endpoint로 직행, 노드 밖으로 나갈 것은 stack으로. Chap5에서 본 "같은 노드는 직행, 노드 간은 라우팅"이 이 화살표로 갈립니다.

참고로 cilium-dbg monitor는 한 노드의 이벤트를 날것으로 흘려보는 디버깅 도구입니다. 클러스터 전체를 파드 이름·라벨과 함께 보고 싶으면 Hubble을 쓰는데, 이 클러스터는 아직 Hubble Relay/UI를 배포하지 않아 단일 노드 monitor로 관찰했습니다. Hubble은 별도 편에서 다룹니다.



직접 해본다, bpftrace

지금까지는 Cilium이 깔아 둔 eBPF를 구경했습니다. 이번에는 같은 기계장치를 우리가 직접 써 봅니다. bpftrace는 eBPF를 한 줄로 작성해 커널에 꽂아 주는 도구입니다. Cilium이 네트워크 데이터패스에 프로그램을 거는 것과 똑같은 메커니즘을, 시스템콜 같은 다른 훅에 거는 것뿐입니다.

bpftrace 한 줄은 항상 같은 세 부분으로 되어 있습니다.

bpftrace 한 줄의 구조: probe, filter, action


먼저 커널이 어떤 훅을 노출하는지 종류별로 셉니다.

$ sudo bpftrace -l | sed 's/:.*//' | sort | uniq -c | sort -rn | head
  51151 kprobe
  44870 kfunc
   1589 tracepoint
     11 software
     10 hardware

수만 개의 후킹 지점이 있습니다. 이 중 하나에 프로그램을 걸어 봅니다. 새 프로세스 실행(execve)을 추적합니다.

$ sudo bpftrace -e 'tracepoint:syscalls:sys_enter_execve { printf("%-16s -> %s\n", comm, str(args->filename)); }'
Attaching 1 probe...
bash             -> /usr/bin/ls
bash             -> /usr/bin/ping

이 상태로 다른 터미널에서 명령을 실행하면, 그 실행이 실시간으로 찍힙니다. 우리가 건 프로그램이 커널 execve 훅에 매달려, 누가 무슨 프로세스를 띄우든 잡아내는 것입니다. Cilium이 lxc TC 훅에 프로그램을 걸어 패킷마다 발동시킨 것과 같은 일을, 우리는 syscall 훅에 한 줄로 한 셈입니다. 그리고 이 한 줄도 로드되기 전에 Verifier를 통과합니다.

여기서 실습 중에 좋은 질문이 하나 나왔습니다.

ls와 ping은 찍히는데 pwd는 왜 안 찍히나요?

pwd가 bash의 내장 명령(builtin)이기 때문입니다. ls나 ping은 외부 바이너리라 bash가 execve로 띄우지만, pwd는 bash가 별도 프로세스 없이 자기 안에서 처리합니다. execve 시스템콜이 발생하지 않으니 우리 probe가 발동할 일이 없습니다. type pwd를 쳐 보면 "shell builtin"이라고 나오고, /usr/bin/pwd처럼 경로를 박아 강제하면 그제서야 진짜 execve가 일어나 추적에 잡힙니다.

사소해 보이지만 관찰의 본질을 담은 질문입니다. probe는 자기가 매달린 훅에서 발생하는 이벤트만 봅니다. execve 훅에 걸었으니 execve만 보이고, 그것을 거치지 않는 동작은 투명인간입니다. "왜 어떤 트래픽은 eBPF에 안 잡히는가"의 답도 늘 "그 훅을 지나지 않았으니까"입니다. 무엇을 보고 싶은지가 어디에 프로그램을 꽂을지를 결정합니다.

마지막으로 맵을 직접 만들어 봅니다. read()가 한 번에 몇 바이트씩 읽는지 분포를 커널 안에서 누적합니다.

$ sudo bpftrace -e 'tracepoint:syscalls:sys_exit_read /args->ret>0/ { @bytes = hist(args->ret); }'
^C
@bytes:
[1]                    1 |@@@@                                                |
[2, 4)                12 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@|
[8, 16)                1 |@@@@                                                |
[16, 32)               1 |@@@@                                                |
[128, 256)             1 |@@@@                                                |
[1K, 2K)               3 |@@@@@@@@@@@@@                                       |

여기서 @bytes가 eBPF 맵입니다. 매 read마다 이벤트를 유저스페이스로 보내는 것이 아니라, 커널 안의 맵에서 해당 버킷을 바로 증가시키고 끝날 때 한 번만 출력합니다. 이것이 고성능의 방식이고, 앞에서 본 Cilium의 endpoint 맵, conntrack 맵과 같은 종류의 저장소입니다. 우리가 cilium-dbg bpf endpoint list로 읽었던 그 맵을, 우리는 한 줄로 만들어 쓴 것입니다.



우리가 본 것이 곧 Cilium의 데이터패스

Chap2부터 읽던 라우팅 테이블과 iptables는 사실 이 eBPF 데이터패스가 통하지 않을 때를 위한 배경이었고, 실제 결정은 이번 편에서 본 프로그램과 맵이 내리고 있었습니다. 우리가 손으로 만들었던 것(Chap4·5)과 읽기로만 봤던 것(Chap2·3)이, 이번에 그 아래에서 실제로 동작하는 프로그램으로 한 번에 이어집니다.


TL;DR

  1. eBPF는 커널에 프로그램을 안전하게 꽂는 기술이고, 세 기둥은 훅(어디에), Verifier(꽂기 전 검증), Maps(상태 저장)다.
  2. bpftool prog show의 226개는 전부 Cilium 것이 아니다. 타입을 봐야 한다. sched_cls 147개가 Cilium 데이터패스의 본체이고, cgroup_device는 컨테이너 런타임 것이다.
  3. bpftool net show가 훅 지도다. lxc마다 cil_from_container가 붙어 있고, lxc의 ingress는 곧 파드의 egress다. 이 클러스터는 XDP를 쓰지 않는다.
  4. 같은 노드 파드 간 통신은 cil_from_container가 endpoint 맵을 보고 bpf_redirect로 lxc에서 lxc로 직행한다. 호스트 라우팅을 건너뛴다.
  5. endpoint 맵은 IP를 ifindex·sec_id로 잇는 조회 테이블이고, cilium-dbg monitor에서 그 sec_id가 identity로 등장한다. Cilium은 IP가 아니라 신원으로 흐름을 식별한다.
  6. bpftrace로 같은 메커니즘을 직접 써 볼 수 있다. probe(훅)·filter·action 세 부분이고, @ 변수가 맵이다. probe는 자기가 매달린 훅이 보는 것만 본다.

다음 편 예고

  • eBPF가 패킷을 redirect할 때 정확히 어디서 ARP와 라우팅을 건너뛰는지, 그 저수준 경로를 데이터패스 편에서 따라가기
  • L3/L4를 넘어 HTTP 같은 L7을 다룰 때 eBPF가 트래픽을 Envoy로 넘기는 구조와 네트워크 정책

관련 포스트