
๊ฐ์
4ํธ์์
AggregatingMergeTree์avgState๋ก ์ฌ์ ์ง๊ณ๋ฅผ ์์ผ๋ก ํ ๋ฒ ์ ์ฌํ์ต๋๋ค. ์ด๋ฒ ๊ธ์ ์ฃผ์ ๋ ๊ทธ ๋ณํ์ INSERT ์์ ์ ์๋ํํ๋ Materialized View์ ๋๋ค. ์ด๋ฆ์ ๋ป๋ถํฐ INSERT ํธ๋ฆฌ๊ฑฐ ๋ฉ์ปค๋์ฆ, ์๋ ์ ์ฌ์์ ์ฐจ์ด, target ์ง์ ์ฐ๊ธฐ๊น์ง ๋ก์ปฌ ์ค์ธก์ผ๋ก ์ ๋ฆฌํฉ๋๋ค.
์ด๋ฆ์ด ์คํด๋ฅผ ๋ถ๋ฅด๊ธฐ ์ฝ์ต๋๋ค. ClickHouse์ MV๋ ํ ์ด๋ธ๋, ์ผ๋ฐ View๋ ์๋๋๋ค. ๊ฐ์ฅ ์ ํํ ์ ์๋ ์ด๋ ์ต๋๋ค.
MV = "source์ INSERT๋๋ฉด, ๊ทธ ๋ฐ์ดํฐ๋ฅผ ๋ณํ(SELECT)ํด target์ ์ ์ฌํ๋ ํธ๋ฆฌ๊ฑฐ"

View๋ ์ด ์ฟผ๋ฆฌ๋ง ์ ์ฅํ๊ณ , ์กฐํํ ๋๋ง๋ค ์๋ณธ์์ ๋ค์ ๊ณ์ฐํฉ๋๋ค.์ผ๋ฐ View |
Materialized View |
|
|---|---|---|
| ์ ์ฅ | ์ฟผ๋ฆฌ(SELECT)๋ง | ๊ฒฐ๊ณผ ๋ฐ์ดํฐ (target์) |
| ์กฐํ ์ | ๋งค๋ฒ ์๋ณธ ์ฌ๊ณ์ฐ | ๋ฏธ๋ฆฌ ๊ณ์ฐ๋ ๊ฒฐ๊ณผ๋ฅผ ์ฝ์ |
| ์๋ | ์๋ณธ ํฌ๊ธฐ์ ๋น๋ก | ์ฌ์ ์ง๊ณ๋ผ ๋น ๋ฆ |
์ฆ **"๋ณํํ ๊ฒฐ๊ณผ(View)๋ฅผ ๋งค๋ฒ ๊ณ์ฐํ์ง ์๊ณ ๋ฏธ๋ฆฌ ์ ์ฅ(Materialized)ํด๋๋ ๊ฒ"**์ ๋๋ค. ClickHouse๋ ์ฌ๊ธฐ์ "INSERT ํธ๋ฆฌ๊ฑฐ๋ก ์ฆ๋ถ ๊ตฌ์ฒดํ"๋ฅผ ๊ฒฐํฉํ์ต๋๋ค.
source(raw) โ MV(๋ณํ) โ target(์ง๊ณ) 3๋จ์ ๋ง๋ญ๋๋ค.
-- source: ์๋ณธ ์ด๋ฒคํธ
CREATE TABLE events_raw
(
ts DateTime, user_id UInt32,
event_type LowCardinality(String),
duration_ms UInt32
)
ENGINE = MergeTree ORDER BY (event_type, ts);
-- target: ์ง๊ณ ๊ฒฐ๊ณผ๊ฐ ์์ผ ๊ณณ (AggregatingMergeTree)
CREATE TABLE events_daily
(
event_date Date,
event_type LowCardinality(String),
cnt AggregateFunction(count),
avg_duration AggregateFunction(avg, UInt32)
)
ENGINE = AggregatingMergeTree ORDER BY (event_date, event_type);
-- MV: events_raw์ INSERT๋๋ฉด ์๋ ์ง๊ณํด events_daily๋ก
CREATE MATERIALIZED VIEW events_mv TO events_daily AS
SELECT
toDate(ts) AS event_date,
event_type,
countState() AS cnt,
avgState(duration_ms) AS avg_duration
FROM events_raw
GROUP BY event_date, event_type;
์ด์ source์๋ง INSERTํ๋ฉด target์ด ์๋์ผ๋ก ์ฑ์์ง๋๋ค.
INSERT INTO events_raw SELECT ts, user_id, event_type, duration_ms FROM events;
-- 5์ฒ๋ง ํ ์ ์ฌ
SELECT count() FROM events_daily;
-- 1830 (366์ผ ร 5 event_type) โ target์ ์ง์ INSERTํ ์ ์๋๋ฐ ์ฑ์์ง
SELECT event_date, event_type,
countMerge(cnt) AS events,
avgMerge(avg_duration) AS avg_duration
FROM events_daily GROUP BY event_date, event_type
ORDER BY event_date, event_type LIMIT 1;
-- 2025-05-29 | click | 16195 | 2494.67
events_daily๋ฅผ ์ง์ ๊ฑด๋๋ฆฐ ์ ์ด ์๋๋ฐ ์ง๊ณ๊ฐ ์ฑ์์ก์ต๋๋ค. MV๊ฐ INSERT๋ฅผ ๊ฐ๋ก์ฑ ์๋ ๋ณํํ ๊ฒ์
๋๋ค.
MV์ ๊ฐ์ฅ ์ค์ํ ์ฑ์ง์ด์ ๊ฐ์ฅ ๋ง์ด ์คํดํ๋ ์ง์ ์
๋๋ค. MV๋ ์ค์ง INSERT์๋ง ํธ๋ฆฌ๊ฑฐ๋ฉ๋๋ค.
| source์ ์ผ์ด๋ ์ผ | MV ๋ฐ์? |
|---|---|
INSERT |
โ ๋ฐ์ |
ALTER ... UPDATE / DELETE |
โ |
TRUNCATE / DROP |
โ |
| ๋จธ์ง / TTL ์ญ์ | โ |
MV๋ source์ ์ฐ๊ธฐ ๊ฒฝ๋ก(write path)์ hook์ผ๋ก ๋ถ์ต๋๋ค. source์ ์ ๋ธ๋ก์ด INSERT๋ ๋, ClickHouse๋ ๊ทธ ๋ธ๋ก์ MV SELECT์ ์ ๋ ฅ(FROM)์ผ๋ก ๋๊ฒจ ๋ณํ ํ target์ ์๋๋ค. ํต์ฌ์ MV๊ฐ ๋ณด๋ ๊ฒ **"source ์ ์ฒด"๊ฐ ์๋๋ผ "๋ฐฉ๊ธ INSERT๋ ๊ทธ ๋ธ๋ก"**์ด๋ผ๋ ์ ์ ๋๋ค.
UPDATE/DELETE๋ INSERT ๊ฒฝ๋ก๊ฐ ์๋๋ผ mutation(๊ธฐ์กด part๋ฅผ ์ฝ์ด ์ฌ์์ฑํ๋ ๋ณ๋ ๊ฒฝ๋ก)์ด๋ผ ์ด hook์ ํ์ง ์์ต๋๋ค. ๋จธ์งยทTTL ์ญ์ ๋ ์ฐ๊ธฐ ๊ฒฝ๋ก๊ฐ ์๋๋ผ ๋ฐฑ๊ทธ๋ผ์ด๋ part ์ฐ์ฐ์ด๋ผ ํธ๋ฆฌ๊ฑฐ๋์ง ์์ต๋๋ค.
๊ทธ๋์ ์ผ๋ฐ MV๋ **"ํ๋ฒ ๋ค์ด์จ ๋ฐ์ดํฐ๋ ๋ฐ๋์ง ์๋๋ค"**๋ ์ ์ ์์์ ๋์ํฉ๋๋ค. ์ด๋ฒคํธ ๋ก๊ทธยท๋ฉํธ๋ฆญ์ฒ๋ผ append๋ง ๋๋ ๋ฐ์ดํฐ์ ๋ง์ต๋๋ค. source์์ ํ์ ์ง์๋ target ์ง๊ณ์ ๊ทธ ํ์ด ๋จ์ ๋ถ์ผ์น๊ฐ ์๊น๋๋ค. ์์ ยท์ญ์ ๋ฐ์์ด ํ์ํ๋ฉด Refreshable MV(์ฃผ๊ธฐ์ ์ผ๋ก ์ ์ฒด๋ฅผ ๋ค์ ๊ณ์ฐํ๋ ๋ฐฐ์นํ MV)๋ CollapsingMergeTree(์ทจ์ ์ด๋ฒคํธ -1์ appendํด ์์)๋ก ํ๊ฑฐ๋, ์ฌ์ง๊ณํด์ผ ํฉ๋๋ค.
์ฐธ๊ณ ๋ก ์ผ๋ฐ MV๋ INSERT ์์ ์ ๋๊ธฐ์ ยท์ค์๊ฐ์ผ๋ก ์คํ๋ฉ๋๋ค(๋ฐฑ๊ทธ๋ผ์ด๋ ๋ฐฐ์น๊ฐ ์๋). INSERT๊ฐ ๋๋ ์์ ์ ์ด๋ฏธ target์ด ๊ฐฑ์ ๋ผ ์์ต๋๋ค. ๋์ MV ๋ณํ ๋น์ฉ์ด INSERT ์ง์ฐ์ ํฌํจ๋ฉ๋๋ค.
"4ํธ์์ ์์ผ๋ก ํ INSERT INTO ... SELECT ... GROUP BY๋ ์๋ ์๋์๋?"๋ผ๋ ์๋ฌธ์ด ๋ค ์ ์์ต๋๋ค. ๊ทธ๊ฑด ์๋ 1ํ ์คํ์ด์์ต๋๋ค. ์ฐจ์ด๋ ๋ ๊ฐ์ง์
๋๋ค.
โ ๋๊ฐ ์คํํ๋ โ ๊ทธ INSERT SELECT ๋ฌธ์ฅ์ ์ค์ค๋ก ์คํ๋์ง ์์ต๋๋ค. ์ฌ๋ยท์ฑยท์ค์ผ์ค๋ฌ๊ฐ ๋งค๋ฒ ํธ์ถํด์ผ ํฉ๋๋ค. MV๋ INSERT ์์ฒด๊ฐ ํธ๋ฆฌ๊ฑฐ๋ผ ๋ณ๋ ํธ์ถ์ด ์์ต๋๋ค.
โก ์ฆ๋ถ์ธ๊ฐ โ FROM events GROUP BY๋ ๋งค๋ฒ ์ ์ฒด๋ฅผ ์ฌ์ง๊ณํฉ๋๋ค. ์ ๊ท 1,000๊ฑด ๋๋ฌธ์ 5์ฒ๋ง์ ๋ค์ ์ง๊ณํ๊ณ , ๊ฒฐ๊ณผ๋ฅผ ํต์งธ๋ก ๋ INSERTํ๋ฉด ์ค๋ณต์ด ์์
๋๋ค. ์ฆ๋ถ์ผ๋ก ํ๋ ค๋ฉด WHERE ts >= '๋ง์ง๋ง ์ฒ๋ฆฌ ์์ '์ ์ง์ ์ถ์ ํด์ผ ํ๋๋ฐ(์ํฐ๋งํฌ ๊ด๋ฆฌ), ์ด๊ธ๋๋ฉด ๋๋ฝยท์ค๋ณต์ด ๋ฉ๋๋ค. MV๋ ๋ค์ด์จ ๋ธ๋ก๋ง ์ฒ๋ฆฌํ๋ฏ๋ก ์ํฐ๋งํฌ ๊ด๋ฆฌ๊ฐ ํ์ ์์ต๋๋ค.
์๋ INSERT SELECT |
MV | |
|---|---|---|
| ์คํ ์ฃผ์ฒด | ์ฌ๋/์ฑ/์ค์ผ์ค๋ฌ | INSERT๊ฐ ์๋ |
| ์ง๊ณ ๋ฒ์ | ์ ์ฒด ์ฌ์ง๊ณ | ๋ค์ด์จ ๋ธ๋ก๋ง (์ฆ๋ถ) |
| ์ํฐ๋งํฌ ์ถ์ | ์ฌ๋์ด | ๋ถํ์ |
| ์ ์ ๋ | ๋ง์ง๋ง ์คํ ์์ ์ ๋ฉ์ถค | ํญ์ ์ต์ |
MV๋ ๋ฐ์ดํฐ๋ฅผ ๊ฐ์ง ์์ผ๋ฏ๋ก, **"MV์ ์ด๋ค"๊ฐ ์๋๋ผ "target์ ์ด๋ค"**๊ฐ ๋ง์ต๋๋ค. target(events_daily)์ ํ๋ฒํ ํ
์ด๋ธ์ด๋ผ ์ฌ๋์ด ์ง์ INSERTํ ์ ์์ต๋๋ค. MV๋ ๊ทธ ํ
์ด๋ธ์ ์ฐ๋ ๊ฒฝ๋ก ์ค ํ๋์ผ ๋ฟ์
๋๋ค.
๊ฐ์ฅ ํํ ์ฉ๋ก๊ฐ **๋ฐฑํ(backfill)**์ ๋๋ค. MV๋ "๋ง๋ ์์ ์ดํ INSERT"๋ง ์ก์ผ๋, ๊ณผ๊ฑฐ ๋ฐ์ดํฐ๋ target์ ์ง์ ์ ์ฌํฉ๋๋ค.
-- MV ์์ฑ ํ, ๊ณผ๊ฑฐ ๋ฐ์ดํฐ๋ target์ ์ง์ ๋ฐฑํ (์คํค๋ง๋ -State๋ก ๋ง์ถค)
INSERT INTO events_daily
SELECT toDate(ts), event_type, countState(), avgState(duration_ms)
FROM events_raw -- ์ด๋ฏธ ์์ฌ ์๋ ๊ณผ๊ฑฐ ๋ฐ์ดํฐ
GROUP BY toDate(ts), event_type;
AggregatingMergeTree๋ผ ์ง์ ๋ฃ์ ์ํ์ MV๊ฐ ๋ฃ์ ์ํ๊ฐ -Merge๋ก ์์ฐ์ค๋ฝ๊ฒ ํฉ์ณ์ง๋๋ค. (POPULATE ์ต์
์ผ๋ก ์์ฑ ์ ๊ธฐ์กด ๋ฐ์ดํฐ๋ฅผ ์ ์ฌํ ์๋ ์์ง๋ง, ์ ์ฌ ์ค ๋ค์ด์จ INSERT๊ฐ ๋๋ฝ๋ ์ ์์ด "MV ๋จผ์ + ์ง์ ๋ฐฑํ"์ด ๋ ์์ ํฉ๋๋ค.)

target ์ปฌ๋ผ์ด AggregateFunction ์ํ๋ผ, ์กฐํ ์ -Merge๋ก ํ์ฐํด์ผ ํฉ๋๋ค(4ํธ). ์ด์ ๊ฐ MV์ ๋์๊ณผ ์ง๊ฒฐ๋ฉ๋๋ค.
MV๋ INSERT ๋ธ๋ก๋ง๋ค target์ ๋ถ๋ถ ์ํ๋ฅผ ๋ณ๋ part๋ก ์๋๋ค. 5์ฒ๋ง์ ํ ๋ฒ INSERTํด๋ ๋ด๋ถ์ ์ผ๋ก ์ฌ๋ฌ ๋ธ๋ก โ target์ ์ฌ๋ฌ part๊ฐ ์๊ธฐ๊ณ , ๊ฐ์ (event_date, event_type) ํค๊ฐ ์ฌ๋ฌ part์ ๋ถ๋ถ ์ํ๋ก ํฉ์ด์ง๋๋ค. ๊ทธ๊ฑธ ํฉ์ณ์ผ ์ ํํ ๊ฐ์ด ๋์ค๋ฏ๋ก -Merge๊ฐ ํ์ํฉ๋๋ค.
์ง์ ๋ณด๋ฉด ๋ช ํํฉ๋๋ค. ๊ธฐ์กด ํค์ ํ ๊ฑด ๋ ๋ฃ์ผ๋ฉด target์ ์ part๊ฐ ์๊ธฐ๊ณ ๊ทธ ํค๊ฐ ์ ๊น ์ฌ๋ฌ ํ์ด ๋ฉ๋๋ค.
INSERT INTO events_raw VALUES ('2025-05-29 10:00:00', 99999, 'click', 100);
-- ๊ทธ ํค๊ฐ 2ํ์ผ๋ก ๋ณด์ (๊ธฐ์กด part + ๋ฐฉ๊ธ MV๊ฐ ๋ง๋ ์ part)
SELECT count() FROM events_daily WHERE event_date='2025-05-29' AND event_type='click';
-- 2
-- ๊ทธ๋๋ -Merge๋ ํฉ์ณ์ ์ ํ: 16195 + 1 = 16196
SELECT countMerge(cnt) FROM events_daily
WHERE event_date='2025-05-29' AND event_type='click'
GROUP BY event_date, event_type;
-- 16196
events_raw์ INSERT๋ง ํ๋๋ฐ events_daily๊ฐ ์ฆ์ ๋ฐ๋ผ ๊ฐฑ์ ๋๊ณ (์ฆ๋ถ), ๋ถ๋ถ ์ํ๊ฐ ์ฌ๋ฌ part๋ก ๊ฐ๋ ธ์ด๋ -Merge๊ฐ ์ ํํ ํฉ์ณ์ค๋๋ค. ์๊ฐ์ด ์ง๋๊ฑฐ๋ OPTIMIZE FINAL์ ํ๋ฉด ๋ฐฑ๊ทธ๋ผ์ด๋ ๋จธ์ง๊ฐ ๋ค์ 1ํ์ผ๋ก ํตํฉํฉ๋๋ค.
๋ง์ฝ
sumยทmax๊ฐ์ ๋จ์ ์ง๊ณ๋ง ํ์ํ๋ฉดSimpleAggregateFunction์ผ๋ก ๋์ด target์ ์ผ๋ฐ ๊ฐ์ ์ ์ฅํ๊ณ-Merge์์ด ์กฐํํ ์๋ ์์ต๋๋ค.avgยทuniq์ฒ๋ผ ๋ถ๋ถ ๊ฒฐ๊ณผ๋ฅผ ๋ชป ํฉ์น๋ ์ง๊ณ๋งAggregateFunction+-Merge๊ฐ ํ์์ ๋๋ค.
source ํ๋์ MV๋ฅผ ์ฌ๋ฌ ๊ฐ ๋ถ์ผ ์ ์์ต๋๋ค. INSERT ํ ๋ฒ์ ์ฌ๋ฌ ์ง๊ณ ํ ์ด๋ธ์ด ๋์์ ๊ฐฑ์ ๋ฉ๋๋ค โ ๊ด์ธก์ฑ ๋ฐฑ์๋์ ํต์ฌ ํจํด์ ๋๋ค.

๋์๋ณด๋๋ง๋ค ๋ค๋ฅธ ์ฌ์ ์ง๊ณ๊ฐ ํ์ํ ๋, raw์ ํ ๋ฒ ๋ฃ์ผ๋ฉด ๊ฐ target์ด ์์์ ์ฑ์์ง๋๋ค.
AggregateFunction ์ํ๋ฅผ ์ ์ฅํ๋ค๋ฉด ์กฐํ ์ -Merge๋ก ํฉ์ณ ์ฝ๋๋ค.