OpenSearch로 하이브리드 검색 구현하기 — dense·sparse 벡터, HNSW, 점수 융합
OpenSearch 환경에서 키워드(BM25)와 벡터(HNSW) 검색을 결합한 하이브리드 검색을 구축하면서 겪은 문제들과 해결 과정을 정리했습니다. 단순히 두 엔진을 연동하는 것을 넘어, 실제 서비스 적용 시 맞닥뜨린 세 가지 병목을 해결한 과정을 기술합니다. 1. HNSW 파라미터 조율을 통한 정확도(Recall)와 성능 타협 2. 스케일이 다른 두 점수를 합치기 위한 RRF(순위 융합) 도입 3. 필터 쿼리 추가 시 kNN 검색의 결과 누수 현상 방지 [!NOTE] kNN과 ANN의 관계, NSW에서 HNSW로 발전한 이유, HNSW가 감당하지 못하는 규모에서 쓰는 SPANN 같은 인덱스 등 알고리즘 자체에 대한 자세한 내용은 벡터 검색 알고리즘 정리 — kNN과 ANN의 차이, NSW에서 HNSW로, 그리고 SPANN에서 별도로 다룹니다. 1. sparse vector와 dense vector는 뭐가 다른가 하이브리드 검색은 서로 다른 데이터 표현 방식을 함께 사용합니다. 단어