토스 데이터엔지니어링팀의 AX(AI Transformation) 웨비나를 들으면서 가장 인상 깊었던 단어는 "살아있는(living)"이었습니다. 시멘틱 레이어를 살아있게 유지한다는 말이 묘하게 익숙하게 들렸습니다. 백엔드와 인프라 영역에서도 결국 같은 문제를 다른 이름으로 다루고 있다는 생각이 들었기 때문입니다. OpenAPI 스펙, 서비스 카탈로그, 런북, SLO 정의, Helm values, Terraform state, ArgoCD desired state. 이름은 다르지만 모두 "코드/데이터와 운영 현실의 의미를 동기화"하기 위한 도구들입니다.
이 글에서는 토스 DE팀 웨비나에서 얻은 인사이트를 백엔드 엔지니어와 DevOps/AIops 엔지니어의 언어로 다시 풀어 보려고 합니다. 출발점은 데이터 엔지니어링이지만, 그 원리들이 분산 시스템 운영의 익숙한 문제들과 같은 뿌리를 갖는다는 점을 짚어 보고 싶었습니다.
DE팀이 마주한 문제 자체는 아주 직관적입니다.
도메인마다 같은 용어(예: "매출")의 정의가 다르다. AI가 도메인을 가로질러 추론할 때 할루시네이션이 발생한다.
백엔드 엔지니어가 들으면 곧바로 떠오르는 장면이 있을 겁니다.
orderId, 정산팀의 orderId, CS팀의 orderId가 같은 값을 가리키지 않습니다.DevOps 관점으로 옮겨도 사정은 비슷합니다.
environment=prod"라는 라벨의 의미가 팀마다 다릅니다.LLM이 도메인을 가로지를 때만 할루시네이션이 생기는 것은 아닙니다. 사람도 매일 할루시네이션을 하고 있고, 시멘틱 레이어 부재의 비용은 AI 이전부터 우리가 계속 지불해 왔습니다. AI가 그 비용을 압축적으로, 그리고 가시적으로 드러내고 있을 뿐이라고 보는 편이 더 정확하다고 생각합니다.
DE팀의 정의를 그대로 옮기면 다음과 같습니다.
시멘틱 레이어는 구조(스키마)를 정의하는 작업이 아니다. 모든 것을 같은 레벨, 공통 기준에 놓기 위한 작업이며, 핵심은 형식이 아니라 의미의 정렬(alignment)이다.
이것을 백엔드/플랫폼 엔지니어링 영역의 도구들과 나란히 놓아 보면, 대응 관계가 꽤 분명해집니다.
| 데이터 시멘틱 레이어가 담는 것 | 백엔드/DevOps의 대응물 |
|---|---|
| 데이터의 출처(어떤 서비스 단계에서 생성됐는지) | OpenAPI/AsyncAPI 스펙의 producer 명시, 이벤트 스키마의 source 필드 |
| 데이터의 비즈니스 의미와 맥락 | 서비스 카탈로그 description, ADR(Architecture Decision Record), 런북의 "이 서비스가 왜 존재하는가" 섹션 |
| 컬럼 정의를 넘어선 "왜 존재하고 어떻게 쓰이는지" | API 엔드포인트의 use case 예시, 도메인 경계와 책임 매트릭스 |
| 같은 레벨에 놓이는 공통 기준 | 사내 표준 SLI/SLO 정의, 공통 로그 스키마, 분산 트레이싱 컨텍스트 전파 규약 |
OpenAPI 파일 하나만 떠올려도 사실상 시멘틱 레이어 그 자체입니다. 데이터 자산이 아니라 API 자산을 대상으로 한다는 차이만 있을 뿐입니다. 그런데 우리는 OpenAPI도 똑같이 죽어가게 둡니다. 코드는 바뀌었는데 스펙은 그대로, description은 비어 있고, 예시는 한 번도 갱신된 적이 없는 상태로 말입니다. 시멘틱 레이어를 죽이는 메커니즘은 데이터든 API든 인프라든 별로 다르지 않다는 생각이 듭니다.
일반적인 방식으로도 95%까지는 그럴듯하게 보여줄 수 있다. 전사 연결 후 신뢰할 수 있는 수준(99%)으로 가려면 나머지 4%가 필요하다.
이 4%의 본질은 신뢰의 비대칭성이라고 생각합니다. 사용자든 LLM이든, 5% 미만의 오류를 만나는 순간 시스템 전체에 대한 신뢰를 한 번에 철회합니다. 봇이 한 번이라도 엉뚱한 컬럼을 추천했다면, 그 사람은 다시는 봇을 안 쓰고 직접 SQL을 짤 가능성이 큽니다.
백엔드 시스템도 정확히 같은 비대칭성 위에 서 있습니다.
마지막 4%를 메우는 일은 결국 도메인 깊이의 문제라고 봅니다. DE팀이 도메인의 정확한 의미를 담는 데 공을 들이는 이유, 백엔드 팀이 엣지 케이스 테스트와 incident post-mortem에 시간을 쓰는 이유, AIops 도구가 false positive를 줄이려고 컨텍스트 보강에 매달리는 이유가 결국 한 줄로 수렴합니다. 사용자가 시스템을 "쓸 만하다"고 느끼게 만드는 critical mass가 그 4% 안에 들어 있다는 점입니다.
DE팀은 표준화 데이터 구축 작업을 다음 4단계 워크플로우로 정리했습니다.
① 측정지표 합의 → ② 원천 분석 → ③ DW 개발 → ④ DQ 작성 및 표준 검토, 문서화
이 중 가장 강조됐던 단계는 ② 원천 분석이었습니다. 이유는 분명했습니다. 데이터의 진짜 맥락이 코드, Slack, Notion에 흩어져 있기 때문이라는 설명이었습니다.
이 부분은 SRE나 플랫폼 엔지니어라면 누구나 익숙한 풍경일 겁니다.
#incident-2023-08 슬랙 채널의 쓰레드 어딘가에 있습니다.values.yaml이 아니라 누군가 퇴근하며 남긴 Notion 메모에 적혀 있습니다.원천 분석이 부실하면 그 뒤의 모든 단계가 흔들립니다. 데이터에서는 DW/DQ/문서가, 백엔드에서는 API/SLO/runbook이 그렇습니다. 단순히 문서화 문제가 아니라, 시스템에 대한 모든 의사결정의 신뢰성 문제로 이어지는 일이라고 생각합니다.
이 진단이 정확하기 때문에, 다음 단계인 "AI로 원천 분석을 자동화"가 비로소 의미를 갖게 됩니다.
DE팀은 AI로 원천 분석 파이프라인을 자동화하고, 그 결과를 지식베이스로 누적합니다. 변화는 커밋 해시 기반으로 추적하고, 변경된 부분만 증분(diff)으로 분석한다고 했습니다.
이 세 문장을 백엔드/DevOps 시각으로 풀면, 자연스럽게 AIops가 무엇이어야 하는지에 대한 그림이 그려집니다.
AIops를 흔히 "AI로 alert을 줄이고 incident를 예측하는 것"으로 좁게 이해하곤 합니다. 저는 좀 더 본질적인 정의를 다음과 같이 쓰고 싶습니다.
AIops = 운영 데이터(로그·메트릭·트레이스·이벤트·PR·Slack)에서 의미를 추출하고, 그 의미를 살아있게 유지하는 작업.
토스 DE팀이 "데이터 자산"에 대해 하는 일을 그대로 "운영 자산"에 적용하면 AIops가 됩니다. 두 영역의 일이 사실상 같은 패턴을 따른다는 게 다음 표에서 보이실 겁니다.
| 데이터 영역 (DE) | 운영 영역 (AIops) |
|---|---|
| 테이블 스키마 변경 추적 | manifest / Helm chart / Terraform diff 추적 |
| 컬럼 description의 살아있음 | alert/SLO 임계치의 "왜"가 살아있음 |
| 시멘틱 레이어 = 데이터의 의미층 | 서비스 카탈로그 + 런북 = 운영의 의미층 |
| 원천 분석 자동화 | post-mortem 자동 요약, PR ↔ incident 연결 |
| Slack 봇 = 데이터 자산 진입점 | ChatOps 봇 = 운영 자산 진입점 |
AIops를 "통계 기반 이상 탐지"로만 좁혀 보면, LLM 시대의 운영을 설계하기 어렵습니다. 운영 자체를 하나의 거대한 시멘틱 레이어로 보고, 그것을 살아있게 유지하는 시스템을 짠다는 관점으로 옮겨가야 한다고 봅니다.
전체 재분석이 아닌 델타 방식으로 효율화한다.
이 한 줄을 들으면서 GitOps와 정확히 같은 사고방식이라는 생각이 들었습니다. ArgoCD가 매번 클러스터 전체를 새로 그리지 않고 desired state(Git commit)와 actual state의 diff만 reconcile하는 것처럼, DE팀의 시멘틱 레이어도 commit hash 단위로 의미 변화의 diff만 흡수하는 구조이기 때문입니다.
사실 제가 운영 중인 블로그의 CI/CD에도 같은 패턴이 들어가 있습니다. Jenkins 파이프라인의 delta reindex 단계는 git diff $PREV..HEAD로 변경된 마크다운만 골라 ES에 증분 색인합니다. 전체 재색인은 비용도 크지만, 그보다 "변화의 단위"가 모호해진다는 게 더 큰 문제입니다. 커밋 해시는 변화에 명확한 unit을 부여하고, 그 unit에 의미 작업을 얹게 해 줍니다. 살아있음을 만드는 가장 단순한 메커니즘입니다.
원천 변화 → 커밋 해시 → 델타 의미 분석 → 지식베이스 갱신
(코드/스키마) (변화의 unit) (AI 자동화) (시멘틱 레이어)
같은 파이프라인이 DE팀에서는 시멘틱 레이어 유지에, GitOps에서는 클러스터 상태 동기화에, 블로그 운영에서는 검색 인덱스 동기화에 쓰입니다. 살아있는 시스템은 변화에 unit을 부여한다는 점에서 한 줄로 묶이는 것 같습니다.
DE팀은 DA 업무를 두 갈래로 정리했습니다.
이것이 플랫폼 엔지니어링의 두 축과 거의 일대일로 맞닿습니다.
| DA의 두 갈래 | 플랫폼 엔지니어링의 두 축 |
|---|---|
| Flow (흐르게 한다) | Developer Experience(DevEx) — 개발자가 플랫폼을 쉽게 쓰도록 만드는 일 (셀프 서비스 포털, 골든 패스, IDE 통합) |
| Refine (다듬는다) | Platform Product Management — 개발자의 사용 신호를 받아 플랫폼 자체를 진화시키는 일 |
두 축이 맞물려야 플랫폼이 살아있다는 점도 똑같습니다. 셀프 서비스 포털을 만들기만 하고 사용 신호를 받지 않으면 금세 유물(legacy)이 되고, 반대로 신호만 모으고 흐름을 만들지 않으면 개선이 사용자에게 닿지 못합니다. 데이터 거버넌스와 플랫폼 엔지니어링은 결국 같은 종류의 사이클을 서로 다른 자산 위에서 돌리고 있는 셈입니다.
DE팀의 Slack 봇은 사용자 설문에서 가장 큰 불만이었던 "테이블 찾기가 힘들다"를 해결하기 위해 만들어졌다고 했습니다. 그리고 이 봇이 잘 동작하려면 두 가지가 필요하다고 정리했습니다.
이게 그대로 ChatOps의 성패 조건이기도 합니다.
핵심 문장이 같습니다. "AI가 잘 읽을 수 있는 형태로 의미를 정돈한다"는 것입니다.
LLM 시대의 운영에서는 인간 가독성과 기계 가독성의 경계가 점점 흐려집니다. README가 풍부한 서비스는 LLM이 잘 추론할 수 있는 서비스이기도 합니다. 잘 정리된 시멘틱 레이어는 인간과 AI 둘 다에게 잘 흐릅니다. 반대로 말하면, AI에게 잘 안 읽히는 시스템은 사실 사람에게도 잘 안 읽히고 있었다는 뜻이 됩니다. 어떻게 보면 LLM은 시멘틱 레이어의 부재를 가장 잔인하게 폭로하는 도구라고도 할 수 있습니다.
DE팀의 인사이트 중 가장 강하게 남는 한 줄이 있었습니다.
사용(Usage)이 곧 데이터 진화의 엔진이다.
봇이 만든 쿼리에서 패턴을 발견하고("이 테이블이 자주 조인된다, 이 컬럼이 있으면 더 효율적이겠다"), 그것을 실제 구조에 반영하고, 다음번에는 더 간단한 답이 가능해지는 식의 흐름입니다. 결국 사용 → 개선의 루프가 시멘틱 레이어를 살아있게 한다는 이야기입니다.
백엔드에서도 이 패턴은 여러 곳에서 모습을 드러냅니다.
DevOps 영역에서도 같은 동작이 보입니다.
이 모든 사례의 공통점은, 사용 신호가 시스템 구조의 다음 모양을 결정한다는 것입니다. 인프라가 살아있다는 말은 결국 사용자(개발자)가 시스템을 어떻게 쓰는지를 시스템이 스스로 학습한다는 뜻이고, 그 학습이 사람의 의지가 아니라 메커니즘에 박혀 있어야 한다는 의미이기도 합니다.
DE팀의 운영 원칙은 짧고 단호했습니다.
첫 실수/오답은 허용한다. 그러나 같은 실수의 반복은 금지한다. 드러난 문제는 시스템(시멘틱 레이어 / 데이터 구조)에 반영해서 재발을 막는다.
이 문장이 거의 글자 그대로 SRE의 블레임리스 포스트모템 철학과 닿아 있다고 느꼈습니다. 차이가 있다면 SRE 쪽이 좀 더 형식화돼 있다는 정도일 겁니다.
| 원칙 | DE팀 운영 | SRE/AIops 포스트모템 |
|---|---|---|
| 첫 실패 허용 | 새 케이스/미커버 영역은 있을 수 있음 | blameless — 개인 비난 없이 시스템 결함으로 본다 |
| 두 번째 금지 | 시멘틱 레이어/데이터 구조에 반영 | action items — runbook/SLO/alert/코드에 반영 |
| 학습 강제 | 봇과 시멘틱 레이어를 학습이 강제되는 시스템으로 운영 | error budget, toil quota, automated regression test |
핵심 통찰은 결국 하나로 모입니다. "학습이 강제되도록 시스템을 설계한다"는 것입니다. 사람의 의지에 의존하는 학습은 거의 항상 패배한다고 봅니다. 시멘틱 레이어든 runbook이든, 루프 안에 학습이 내장된 시스템만 살아남습니다. 학습이 사람의 자율에 맡겨지는 순간 모든 시멘틱 레이어는 죽기 시작한다고 생각합니다.
DE팀의 결론은 다음 한 문장으로 요약됐습니다.
사람과 AI가 데이터를 잘 사용할 수 있게 하고, 데이터를 자라게 하고 흐르게 하는 것.
이 문장에서 "데이터" 자리에 "API", "인프라", "운영 지식"을 차례로 넣어 읽어 보면 재미있는 일이 일어납니다.
세 문장이 모두 자연스럽게 성립합니다. 같은 추상을 도메인만 바꿔서 읽고 있을 뿐이라는 사실이 다시 한번 분명해집니다.
| 영역 | 잘 사용하게 | 자라게 | 흐르게 |
|---|---|---|---|
| Data Engineering | Slack 봇, 표준화 | 사용 신호 → 스키마 진화 | 표준 데이터 → 실제 활용 |
| Backend Engineering | OpenAPI, 서비스 카탈로그, SDK | 트래픽 분석 → API 진화, BFF 분리 | API 게이트웨이, 클라이언트 SDK |
| DevOps / AIops | 런북, ChatOps, 셀프서비스 포털 | incident → 자동화/runbook 강화 | GitOps, CI/CD 파이프라인 |
세 영역은 같은 시멘틱 레이어 문제를 각자의 도메인에서 풀고 있는 셈입니다. 도메인 간 어휘 차이에 가려져 서로의 노하우를 잘 이식하지 못하고 있었다는 점이, 이 웨비나가 저에게 가장 크게 일깨워 준 부분이었습니다.
이 글을 쓰면서 제가 운영 중인 인프라(온프레미스 K8s 클러스터, 블로그 CI/CD, ArgoCD GitOps, ES 검색)를 새삼 돌아보게 됐는데, 시멘틱 레이어가 슬슬 죽어가고 있는 지점들이 눈에 들어왔습니다.
Data/Database, Backend/JPA, CS/System 같은 카테고리들의 정의가 시간이 지나며 미묘하게 흔들리고 있습니다. 같은 성격의 글이 어떤 시점에는 한쪽, 다음 시점에는 다른 쪽에 들어가곤 합니다. 카테고리 정의 자체를 README로 명문화해 두고, 새 글의 카테고리를 AI에게 일관되게 추천받을 수 있도록 보강해 두는 게 좋겠다는 생각이 듭니다.argocd-cluster/ 레포에 각 앱이 무엇인지는 매니페스트만 봐도 알 수 있지만, "왜 이 앱이 그 형태로 존재하는가"는 코드만 봐서는 잘 드러나지 않습니다. cert-manager 설정 한 줄, gateway 리스너 분리, MetalLB IP 풀 범위 같은 결정들에는 분명 맥락이 있는데, 지금은 그 맥락이 어디에도 적혀 있지 않습니다. 앱 디렉토리마다 ADR-style README를 두는 게 다음 작업이 될 것 같습니다.DE팀이 데이터에 대해 했던 작업을, 저는 1인 인프라의 운영 지식에 대해 해야 한다고 정리할 수 있을 것 같습니다. 규모는 다르지만 메커니즘은 닮아 있습니다.
토스 DE팀이 데이터 영역에서 "시멘틱 레이어를 살아있게 유지하라"고 말할 때, 백엔드 엔지니어는 "OpenAPI를 살아있게 유지하라"고 말하고, DevOps 엔지니어는 "런북과 GitOps state를 살아있게 유지하라"고 말합니다. 어휘만 다를 뿐, 결국 같은 시스템 설계 문제를 풀고 있다는 생각이 듭니다.
이 점을 명시적으로 인식하기 시작하면, 다른 도메인의 통찰을 제 도메인으로 옮겨 오는 일이 훨씬 자연스러워집니다. 데이터 엔지니어의 봇 운영 노하우는 ChatOps 운영의 직접적인 참고가 되고, SRE의 블레임리스 포스트모템 프레임은 데이터 거버넌스에도 그대로 적용할 수 있습니다. AIops의 커밋 기반 델타 패턴은 시멘틱 레이어 유지에, GitOps 사고방식은 데이터 카탈로그 동기화에, 그리고 그 반대 방향으로도 똑같이 흘러갈 수 있다고 생각합니다.
"살아있는 시멘틱 레이어"라는 한 표현이 데이터, 백엔드, 인프라, AIops를 가로지르는 공통 언어가 되어 주는 것 같습니다. 토스 DE팀의 웨비나가 저에게 준 가장 큰 선물은 새로운 데이터 사례 하나가 아니라, 바로 이 공통 언어를 발견하게 해 줬다는 점이라고 정리하면서 글을 마치겠습니다.