data

엘라스틱서치 데이터 핸들링

카프카 설치하기 🔍 카프카 스터디 시리즈 - Chap1. 카프카 시작하기 - Chap2. 카프카 설정하기 ⭐️ 이번 2장의 제목은 '카프카 설치하기' 이지만, 설치 방법에 대해서는 따로 다룰 가치를 느끼지 못하겠으므로 카프카 컨트롤러 노드, 메타데이터 관리, 브로커 및 컨슈머 설정 등에 대해 다루도록 하겠습니다. Zookeeper vs KRaft 앞서 에서는 Kafka가 Zookeeper 방식과 KRaft 방식으로 동작한다고 KIP-500에 대한 이야기를 포함하여 설명하였습니다. 이번 절에서는 Zookeeper, KRaft가 필요한 이유와 왜 카프카 커뮤니티가 KRaft라는 대안을 선택하게 되었는지에 대해 간략하게 알아보고자 합니다. Kafka 메타데이터 관리의 중요성 Kafka는 단순한 메시지 큐가 아닙니다. Kafka의 본질은 분산 로그 시스템이고, 분산 시스템에서 사장 어려운 문제는 데이터가 아니라 상태(state)입니다. Kafka에서 말하는 메타데이터는 source o

카프카 시작하기 🔍 카프카 스터디 시리즈 - Chap1. 카프카 시작하기 - Chap2. 카프카 설정하기 개요 카프카에 대해 제대로 공부해보고자 스터디를 시작했습니다. 이번 포스팅 시리즈에서는 서적 "카프카 핵심 가이드" 를 완독하고 카프카의 구조 및 생태계에 대한 전반적인 학습 및 각 기능의 POC를 실제로 수행하는 것을 목표로 합니다. 책의 서문에서, 유명한 과학자인 닐 디그래스 타이슨의 말을 인용합니다. "과학자들이 서로 동의하지 않는 상황이 벌어진다면, 그것은 데이터가 불충분하기 때문이다. 그리고 어떠한 데이터를 얻을 것인지를 합의하고 데이터를 얻을 수 있다면 문제는 해결된다. 내가 올든 상대방이 옳든, 아니면 둘 다 틀리든 말이다. 그제서야 우리는 그 다음으로 진행해 갈 수 있다." - 닐 디그래스 타이슨 모든 기업은 데이터로 움직이며, 우리는 이런 데이터를 얻고, 분석하고, 가공하여 단순한 데이터 이상의 것을 결과물로 산출해야만 합니다. 데이터의 모든 부분은 의미가 있

MySQL Prepared Statement란? Prepared Statement의 등장 배경 초창기 SQL 인터페이스에서는 모든 쿼리를 문자열로 조합해 실행했습니다. 예를 들어 같은 방식입니다. 이런 구조는 다음과 같은 문제를 가지고 있었습니다: 1. SQL Injection 취약성 2. 매번 쿼리를 파싱하고 최적화해야 하는 성능 문제 3. 타입 안전성 부족 이러한 문제를 해결하기 위해 Prepared Statement(준비된 쿼리) 개념이 등장했습니다. 미리 SQL 구조를 컴파일하고, 실행 시점에는 파라미터만 바인딩하는 방식입니다. Prepared Statement의 역사와 JDBC/Hibernate와의 관계 MySQL에서 Prepared Statement는 MySQL 4.1 (2004년) 버전부터 도입되었습니다. 이는 MySQL 서버가 처음으로 바이너리 프로토콜(Binary Protocol) 기반의 서버사이드 Prepared Statement를 지원하기 시작한 시점입니다.

CAP 정리 CAP 정리, 왜 중요한가? 분산 시스템은 여러 대의 서버가 협력하여 하나의 데이터를 관리하는 환경입니다. 이러한 환경에서는 언제든지 장애나 네트워크 분할이 발생할 수 있습니다. CAP 이론은 이러한 불안정한 환경에서 무엇을 포기하고 무엇을 지킬 것인가를 판단하는 기준이 됩니다. 즉, 완벽한 시스템을 설계하는 것이 아니라, 현실적 제약 속에서 균형을 선택하는 철학을 제공합니다. 💡 CAP Theory(이론)는 이론으로 시작하여 증명이 완료되어 현재는 '정리'(Theorem)으로 불립니다. 해당 이론은 Eric Brewer의 추측 증명으로 검증되었으며, 논문은 다음 링크에서 확인하실 수 있습니다. 논문명: “Brewer’s Conjecture and the Feasibility of Consistent, Available, Partition‑Tolerant Web Services” (Seth Gilbert & Nancy Lynch, 2002) CAP 정리란?

엘라스틱서치 인덱스 설계 2 🔍 엘라스틱서치 스터디 시리즈 - Chap1. 엘라스틱서치 기본 동작 및 구조 - Chap2. 엘라스틱서치 인덱스 설계 1 - Chap3. 엘라스틱서치 인덱스 설계 2 - Chap4. 엘라스틱서치 데이터 핸들링 애널라이저와 토크나이저 필드의 데이터는 애널라이저를 통해 분석돼 여러 텀(term)으로 쪼개져 색인됩니다. 애널라이저는 다음과 같은 요소로 구성됩니다. - 0개 이상의 캐릭터 필터: 문자열을 변형시킨다. - 1개의 토크나이저: 여러 토큰으로 쪼갠다. - 0개 이상의 토큰 필터: 후처리(변형)한다. 각각에 대해 알아봅시다. analyze API 엘라스틱서치는 애널라이저와 각 구성 요소의 동작을 간편하게 테스트해볼 수 있는 API를 제공합니다. 가장 기본적인 애널라이저의 분석 결과를 확인해봅시다. 요청 예시 응답 예시 1. 캐릭터 필터 캐릭터 필터는 를 캐릭터의 스트림으로 받아서 특정한 문자를 추가, 변경, 삭제합니다. 애널라이저에는 0개 이상

엘라스틱서치 인덱스 설계 1 🔍 엘라스틱서치 스터디 시리즈 - Chap1. 엘라스틱서치 기본 동작 및 구조 - Chap2. 엘라스틱서치 인덱스 설계 1 - Chap3. 엘라스틱서치 인덱스 설계 2 - Chap4. 엘라스틱서치 데이터 핸들링 엘라스틱서치의 인덱스는 아주 세부적인 부분까지 제어 가능하고, 설정에 따라 동작과 특성이 극단적으로 달라지므로 설계가 중요합니다. 이번 챕터에서는 설정 방법 및 매핑, 필드타입 등에 대해 다룹니다. 인덱스 설정 인덱스를 생성할 때에는 인덱스의 동작에 관한 설정을 지정할 수 있습니다. 인덱스 설정을 조회하려면 인덱스 이름 뒤에 를 넣어 GET 메서드로 호출합니다. 이전 챕터에서 만들었던 를 재사용하겠습니다. 예시 요청 예시 응답 , 라는 설정이 보입니다. 이에 관해서는 후술하겠습니다. 이라는 중요한 설정이 있는데, 이 응답에는 포함되지 않았습니다. 이에 관해서도 다뤄보겠습니다. numberofshards numberofshards는 인덱스를 구성

엘라스틱서치 기본 동작 및 구조 🔍 엘라스틱서치 스터디 시리즈 - Chap1. 엘라스틱서치 기본 동작 및 구조 - Chap2. 엘라스틱서치 인덱스 설계 1 - Chap3. 엘라스틱서치 인덱스 설계 2 - Chap4. 엘라스틱서치 데이터 핸들링 엘라스틱 서치 기본 동작 엘라스틱 서치는 REST API 기반 서치 엔진으로, 데이터의 수정/삭제 작업은 모두 Json을 기반으로 한 REST API를 통해 진행할 수 있습니다. 1. 문서 색인 를 지정하여 문서를 색인할 수 있습니다. 예시 요청 예시 응답 이때 를 지정하지 않고 문서 내용만 포함한다면, ES가 자체적으로 를 할당합니다. 예시 요청 예시 응답 💡 를 지정하지 않아 ES가 자체적으로 라는 를 생성합니다. 를 지정하지 않을 떄에는 POST 메서드를 사용해야 합니다. 2. 문서 조회 문서를 조회할때는 인덱스 이름과 id 값을 지정합니다. 예시 요청 예시 응답 결과의 필드에서 방금 색인한 문서의 내용을 확인할 수 있습니다

ECK를 이용한 Elasticsearch 클러스터 배포 서론 최근에 인터넷 기사에 대한 크롤링 솔루션 관련하여 개발을 진행 중에 있습니다. MySQL 및 S3을 통해 모든 크롤링 데이터 및 기사 원문을 저장하고 관리하였습니다만, 크롤링 되는 기사 수가 늘어남에 따라 더 확장성있는 아키텍처를 고민했습니다. 하루에 만 건 수십 만 건의 기사 데이터가 크롤링 되고 이를 저장하고 검색함에 있어서 다양한 문제가 야기될 것이 예상되었습니다. 기존에는 각 기사에 대한 메타데이터를 MySQL에서 관리하고, 기사 원문은 MySQL의 PK를 S3키에 포함하여 S3에 저장하고 있었는데요, 각 기사 원문에 대한 접근은 초기에는 접근이 빈번하지만 시간이 지날수록 접근 빈도가 지수적으로 감소할 것이 예상되었기 때문에 S3 지능형 관리나 Glacier를 통해 비용 문제를 해소하고자 했습니다. 이 구조는 초기에는 단순하고 확장성 있으면서 비용효율적인 접근으로 보였지만, 팀 내 논의 끝에 데이터가 급격히 증

자료형과 기능 📕 레디스 스터디 시리즈 - Chap1. 레디스의 시작 - Chap2. 자료형과 기능-1 - Chap3. 자료형과 기능-2 이번 포스팅에서는 대표적인 보조 자료형과 기능, 그리고 보조 자료형과 관련된 명령어에 대해 정리해보겠습니다. 대표 기능과 관련 명령어 비트맵(비트 배열) 현재 처리하고 있는 데이터 모델을 비트의 존재 여부나 그 위치에 따라 표현하여 메모리를 절약할 수 있습니다. 예시 각 비트의 위치를 사용자 ID와 연결한 후 그 위치가 1 또는 0인지 값을 확인하여 특정 기능의 사용 여부 등을 사용자 별로 관리할 수 있습니다. 예를 들어, "알림 받기" 기능을 사용자별로 관리하고 싶다고 해봅시다. 위 그림에서 0은 알림을 끈 상태, 1은 알림을 킨 상태를 나타냅니다. 2번 유저, 101번 유저, 103번 유저, 999번 유저는 "알림 받기" 기능을 켰다고 볼 수 있겠네요. 총 2^32개의 유저까지 표현할 수 있습니다. ⚠️비트맵이 희소한 상태(

자료형과 기능 📕 레디스 스터디 시리즈 - Chap1. 레디스의 시작 - Chap2. 자료형과 기능-1 - Chap3. 자료형과 기능-2 레디스를 효과적으로 사용하려면 자료형을 뺴놓을 수 없습니다. 이 포스트에서는 여러 자료형의 실행 예시, 관련 명령어, 특징과 유스케이스 등을 다루고, 더 나아가 자료형의 내부 인코딩 및 복잡도를 설명합니다. 자료형과 기능 개요 다섯가지 자료형 레디스에는 여러가지 자료형이 있지만 대표적으로 다섯 가지를 꼽을 수 있습니다. 레디스를 잘 활용하려면 자료형을 꼭 이해해야 합니다. 데이터 모델에 맞는 적절한 자료형을 선택해야 애플리케이션을 더 간단하게 구현하면서도 성능을 끌어낼 수 있습니다. 레디스의 주요 자료형에는 String형, List형, Hash형, Set형, Sorted Set형이 있습니다. 보조 자료형과 기능 레디스는 대표적으로 다섯 가지 자료형이 있고, 각 자료형 별로 데이터를 다루는 체계를 갖추고 있습니다. 그러나 그와는 별개로 기

레디스의 시작 📕 레디스 스터디 시리즈 - Chap1. 레디스의 시작 - Chap2. 자료형과 기능-1 - Chap3. 자료형과 기능-2 Redis는 인메모리 데이터 구조 저장소로, 메모리 위에서 번개처럼 빠르게 작동하는 다양한 자료형과 기능을 갖춘 비관계형 데이터베이스라고 볼 수 있죠. 인메모리 특성 덕분에 속도는 물론, 여러 가지 자료형과 기능으로 데이터를 자유자재로 표현하는 마법을 부릴 수 있답니다. 레디스를 사용하기까지 레디스는 BSD 라이선스라는 자유로운 옷을 입고 세상에 나온 오픈소스입니다. ANSI C로 정성껏 빚어졌고, 아주 적은 메모리로도 데이터를 튼튼하게 지켜내는 묘한 힘을 가졌죠. 레디스의 대표적인 장점은 이렇습니다. - 인메모리 데이터베이스라, 속도가 빠르다. - 심플하면서도 유연한 데이터베이스 기능을 포함한다. - 설정이 비교적 간단하다. 레디스는 NoSQL 계열에 속하는데, RDBMS가 가끔은 버거워하는 부분을 살짝 보완해주는 역할을 합

Spring에서 Redis 분산락 적용하기 본 문서에서는 프로젝트에 Redis 분산락을 적용하게 된 배경과 의사결정 과정, 각 락의 특징에 대해 정리해보고자 한다. 공유 자원에 대한 동시 접근 문제는 컴퓨터 과학이 탄생한 초기부터 학계의 화두로 자리잡아 왔다. 생산자-소비자 문제, 식사하는 철학가 문제 등은 모두 동기화 제어 없이 발생할 수 있는 교착 상태와 경쟁 조건을 잘 보여주는 고전적인 예시이다. 락이란? 락(Lock) 은 여러 주체(쓰레드 혹은 프로세스)가 공유 자원에 동시에 접근할 때 발생할 수 있는 경쟁 조건을 방지하기 위한 동기화 기법이다. 락은 한 번에 오직 하나의 주체만 자원에 접근할 수 있도록 제어함으로써, 데이터의 정합성을 어느 정도 보장할 수 있다. 이를 통해 중복 실행, 데이터 손상 등의 문제를 예방할 수 있다. 먼저 이 포스트에서 사용할 각각의 용어부터 정리해보고자 한다. 임계영역 락은 일반적으로 임계 영역을 보호하는 데 사용될 수 있다. 임계 영역이란 여러

❗️날짜별로 정리하여 복습하기를 원하기 때문에 내용이 길고 다소 정리되지 않았습니다. DB구조를 위한 SQL Example : View Ridge Gallary CREATE TABLE(SQL Server) - Cloumn name(이름) : ArtistID, … - Data type(데이터 형식) : Int, … - Optional constraints(제약조건) : NOT NULL, … Creating Relationships SQL for Constraints ALTER Statement example Adding and Dropping Columns Adding and Dropping Donstraints Removing Tables SQL DML - INSERT SQL DML - UPDATE SQL DML - DELETE JOIN ON Syntax Outer Join CREATE VIEW Command Types of view - Horizontal subset view -

❗️날짜별로 정리하여 복습하기를 원하기 때문에 내용이 길고 다소 정리되지 않았습니다. 데이터베이스와 SQL실습 데이터베이스 개요 Major Terms - Data, Database - Data model, Data modeling - E-R model, semantic object model, relational model - Database management systems (DBMS) - SW(system SW) - DB2, Oracle, SQl Server, MySQL etc - Data language: SQL - Database design - tool : E-R Win, Visio, DA- Database administrator (DBA) - Database tuning & monitoring - Orange DBMS - Characteristics - SW (system SW) - Global vendors