
이전 글에서는 HTTP/1.1의 한계와 HTTP/2.0이 이를 어떻게 해결하는지를 살펴보았습니다. 이번 글에서는 gRPC의 직렬화 포맷인 Protocol Buffers(protobuf) 에 대해 다룹니다. protobuf가 무엇이고, JSON과 어떻게 다르며,
.proto파일을 어떻게 작성하는지 알아봅니다.
프로그램의 데이터(구조체, 객체 등)를 바이트 열로 변환하여 네트워크로 전송하거나 파일에 저장할 수 있는 형태로 만드는 것을 직렬화라고 합니다. 반대로 바이트 열을 다시 데이터로 복원하는 것은 역직렬화(Deserialization)입니다.
구조체 → 직렬화 → 바이트 열 → 네트워크 전송 → 바이트 열 → 역직렬화 → 구조체
REST API에서 주로 사용하는 JSON도 직렬화 포맷의 한 종류이며, gRPC에서는 Protocol Buffers를 사용합니다.
REST API에서 가장 널리 쓰이는 JSON은 직관적이고 범용적이지만, 서비스 간 고성능 통신에서는 한계가 있습니다.
{
"id": 1,
"name": "장보기",
"done": false
}
사람이 읽기에는 좋지만, 기계 입장에서는 비효율적입니다.
"id", "name", "done" 같은 필드 이름이 매번 전송됩니다.1도 문자 '1'(1바이트)로 전송됩니다. 큰 숫자일수록 자릿수만큼 바이트가 늘어납니다.{, }, ", :, , 같은 구분 문자도 바이트를 차지합니다.JSON 자체에는 스키마가 없습니다. id가 정수인지 문자열인지, name이 필수인지 선택인지 JSON만 봐서는 알 수 없습니다.
텍스트를 파싱하는 것은 바이너리 구조를 읽는 것보다 느립니다. JSON 파서는 문자열을 순회하며 토큰을 분리하고, 이스케이프 처리를 하고, 숫자를 변환해야 합니다. 초당 수만 건의 메시지를 처리하는 마이크로서비스 환경에서 이 파싱 비용은 무시할 수 없는 오버헤드가 됩니다.
Protocol Buffers(이하 protobuf)는 Google이 개발한 언어 중립적, 플랫폼 중립적인 바이너리 직렬화 포맷입니다.
.proto 파일에 메시지 구조를 정의하고, 이를 기반으로 코드를 자동 생성합니다..proto 파일 하나로 Go, Java, Python, C++ 등 다양한 언어의 코드를 생성할 수 있습니다.syntax = "proto3";
package todo;
option go_package = "grpc-1/pb";
message Todo {
int32 id = 1;
string name = 2;
bool done = 3;
}
syntax = "proto3": protobuf 버전을 지정합니다. 현재는 proto3가 표준입니다.package todo: protobuf의 네임스페이스입니다. 다른 .proto 파일에서 참조할 때 충돌을 방지합니다.option go_package: Go 코드 생성 시 사용할 패키지 경로입니다.message Todo { ... }: 메시지 타입을 정의합니다. Go의 구조체에 해당합니다.message Todo {
int32 id = 1; // 타입 이름 = 번호;
string name = 2;
bool done = 3;
}
각 필드는 타입 이름 = 번호; 형태입니다. 여기서 = 1, = 2는 값이 아니라 필드 번호입니다.
protobuf는 직렬화할 때 필드 이름이 아니라 번호만 사용합니다. 이것이 Kafka 생태계에서 Avro + Schema Registry를 사용할 때 스키마 ID만 전송하는 것과 유사한 메커니즘입니다.
JSON: {"id": 1, "name": "장보기", "done": false}
필드 이름이 매번 전송됨
protobuf: [필드1: 1][필드2: "장보기"][필드3: 0]
번호만 전송. 이름은 .proto에만 존재
| protobuf 타입 | Go 타입 | 설명 |
|---|---|---|
int32 |
int32 |
32비트 정수 |
int64 |
int64 |
64비트 정수 |
float |
float32 |
32비트 부동소수점 |
double |
float64 |
64비트 부동소수점 |
bool |
bool |
참/거짓 |
string |
string |
UTF-8 문자열 |
bytes |
[]byte |
임의의 바이트 열 |
메시지 안에 다른 메시지를 필드로 사용할 수 있습니다.
message User {
int32 id = 1;
string name = 2;
Address address = 3;
}
message Address {
string city = 1;
string street = 2;
}
repeated 키워드로 리스트를 표현합니다. Go에서는 슬라이스로 생성됩니다.
message TodoList {
repeated Todo todos = 1; // Go에서 []*Todo
}
enum Priority {
UNKNOWN = 0; // proto3에서 첫 번째 값은 반드시 0
LOW = 1;
MEDIUM = 2;
HIGH = 3;
}
여러 필드 중 하나만 값을 가질 수 있는 경우에 사용합니다.
message Notification {
string title = 1;
oneof content {
string text = 2;
string image_url = 3;
}
}
텍스트 알림이면 text에만, 이미지 알림이면 image_url에만 값이 들어갑니다. 하나를 설정하면 나머지는 자동으로 초기화됩니다. "이 중 하나만 유효하다"는 것을 스키마 수준에서 강제하는 것입니다.
필드 번호가 직렬화에 사용되기 때문에, 번호만 유지하면 스키마를 안전하게 변경할 수 있습니다.
// 버전 1
message Todo {
int32 id = 1;
string name = 2;
bool done = 3;
}
// 버전 2 — 필드 추가 (안전)
message Todo {
int32 id = 1;
string name = 2;
bool done = 3;
string description = 4; // 기존 클라이언트는 4번을 무시
}
새 필드가 추가되어도 기존 클라이언트는 모르는 필드 번호를 그냥 건너뜁니다.
기존 번호를 다른 필드에 재사용하는 것입니다. 기존 클라이언트가 해당 번호를 이전 타입으로 해석하여 데이터가 깨집니다.
삭제한 필드의 번호는 reserved로 표시하여 재사용을 컴파일 타임에 방지합니다:
message Todo {
reserved 2; // 2번 번호 사용 금지
reserved "name"; // "name" 이름 사용 금지 (혼동 방지)
int32 id = 1;
bool done = 3;
string title = 4; // 새 번호로 추가
}
reserved "name"은 기술적으로 필수는 아니지만(직렬화에 이름을 사용하지 않으므로), 옛날 필드와 이름이 같은 새 필드를 만들어 혼동이 생기는 것을 방지합니다.
| 범위 | 인코딩 크기 | 권장 |
|---|---|---|
| 1~15 | 1바이트 | 자주 쓰는 필드에 할당 |
| 16~2047 | 2바이트 | 일반 필드 |
| 2048~ | 3바이트 이상 | 드물게 사용 |
자주 사용하는 필드에 1~15 번호를 할당하면 직렬화 크기를 줄일 수 있습니다.
동일한 데이터를 직렬화했을 때의 차이입니다:
데이터: {id: 1, name: "장보기", done: false}
JSON: {"id":1,"name":"장보기","done":false} → 약 42바이트
protobuf: 08 01 12 09 EC 9E A5 ... → 약 16바이트
| JSON | Protobuf | |
|---|---|---|
| 크기 | 크다 (필드 이름 포함) | 작다 (번호만 포함) |
| 파싱 속도 | 느리다 (텍스트 파싱) | 빠르다 (바이너리 디코딩) |
| 가독성 | 사람이 읽을 수 있음 | 바이너리라 읽을 수 없음 |
| 스키마 | 없음 (별도 관리) | .proto 파일이 스키마 |
| 코드 생성 | 수동 작성 | 자동 생성 |
| 하위 호환성 | 관례에 의존 | 필드 번호로 보장 |
gRPC가 protobuf를 사용하는 이유는 마이크로서비스 간의 내부 통신에서는 가독성보다 성능과 안정성이 중요하기 때문입니다. 외부 클라이언트와의 통신에는 여전히 REST + JSON이 일반적이며, 내부 서비스 간의 통신에 gRPC + protobuf를 사용하는 것이 흔한 패턴입니다.
이전 카프카 스터디에서 다뤘던 Avro와 비교해보면 유사점과 차이점이 명확합니다.
| Avro | Protobuf | |
|---|---|---|
| 스키마 정의 | JSON 형식의 .avsc 파일 |
.proto 파일 |
| 스키마 관리 | 런타임, Schema Registry | 빌드 타임, .proto 파일 공유 |
| 필드 식별 | 이름 기반 | 번호 기반 |
| 코드 생성 | 선택적 | 필수 (protoc 사용) |
| 주 사용처 | Kafka (비동기 메시징) | gRPC (동기 RPC) |
| 스키마 진화 | 레지스트리가 호환성 검증 | 필드 번호로 하위 호환 유지 |
둘 다 "스키마를 미리 정의하고, 바이너리로 직렬화하여, 필드 이름을 전송하지 않는다"는 핵심은 같습니다. 차이는 스키마를 관리하는 방식과 사용처입니다. Avro는 서로 모르는 프로듀서/컨슈머가 비동기로 통신하는 Kafka 환경에서 중앙 레지스트리로 스키마를 관리하고, protobuf는 서버/클라이언트가 직접 통신하는 gRPC 환경에서 .proto 파일을 빌드 타임에 공유합니다.
.proto 파일을 작성한 뒤, protoc 컴파일러로 Go 코드를 생성합니다.
todo.proto
↓ protoc --go_out=. --go-grpc_out=.
todo.pb.go ← 메시지 구조체 (직렬화/역직렬화)
todo_grpc.pb.go ← gRPC 서버/클라이언트 인터페이스
todo.pb.go: .proto의 message에 대응. Go 구조체와 Get 메서드, 직렬화 코드가 생성됩니다.todo_grpc.pb.go: .proto의 service에 대응. 서버 인터페이스(TodoServiceServer), 클라이언트(NewTodoServiceClient), 등록 함수(RegisterTodoServiceServer) 등이 생성됩니다.실제 코드 생성과 구현은 다음 글에서 진행합니다.