Amazon Athena & QuickSight

Amazon Athena

Amazon Athena는 서버리스 쿼리 서비스로, Amazon S3에 저장된 데이터를 SQL 쿼리를 통해 분석할 수 있다. Athena는 Presto 엔진을 기반으로 구축되었으며, 다양한 파일 형식을 지원한다.

주요 특징

• 서버리스: 별도의 서버 설정이나 관리 없이 SQL 쿼리만으로 데이터를 분석할 수 있다.
• 다양한 파일 형식 지원: CSV, JSON, ORC, Avro, Parquet 등 다양한 형식의 파일을 지원한다.
• 즉시 분석: 데이터를 S3에 저장한 후, 별도의 로드 과정 없이 즉시 분석할 수 있다.
• 비용 효율성: 스캔된 데이터 테라바이트당 5달러로 과금되며, 데이터 압축 및 열 형식 저장을 통해 비용을 절감할 수 있다.

작동 원리

1. 데이터 로드: 사용자가 Amazon S3에 데이터를 로드한다.
2. 쿼리 작업: Amazon Athena가 S3에 저장된 데이터에 대해 SQL 쿼리를 실행한다.
3. 분석 결과: 쿼리 결과는 즉시 반환되어 데이터를 분석할 수 있다.

활용 사례

• 비즈니스 인텔리전스 및 분석: 비즈니스 데이터 분석, 보고서 작성 등에 활용할 수 있다.
• AWS 로그 분석: VPC 흐름 로그, ELB 로그, CloudTrail 로그 등의 AWS 로그 데이터를 분석할 수 있다.

비용 절감 팁

• 데이터 압축: 데이터를 압축하여 저장하면 스캔해야 할 데이터 양이 줄어들어 비용을 절감할 수 있다.
• 열 형식 저장: 데이터를 열 형식으로 저장하면 필요 없는 데이터를 스캔하지 않아도 되어 비용 절감이 가능하다.

Amazon QuickSight

Amazon QuickSight는 서버리스 비즈니스 인텔리전스(BI) 서비스로, 대화형 대시보드를 생성하여 데이터를 시각적으로 나타내고 인사이트를 제공한다.

주요 특징

• 서버리스: 서버를 관리할 필요 없이 자동으로 확장되며 빠른 속도로 동작한다.
• 대화형 대시보드: 다양한 시각화 도구를 제공하여 멋진 그래프나 도표를 생성할 수 있다.
• 비용 효율성: 세션별 과금 모델로, 필요한 만큼만 비용을 지불하면 된다.
• 다양한 데이터 소스 연동: RDS, Aurora, Athena, Redshift, S3 등 다양한 AWS 데이터 소스와 연동할 수 있다.

작동 원리

1. 데이터 연결: QuickSight를 사용하여 다양한 데이터 소스에 연결한다.
2. 데이터 시각화: 연결된 데이터를 기반으로 대시보드를 생성하고 시각화 도구를 이용해 인사이트를 도출한다.
3. 결과 공유: 생성된 대시보드를 팀원들과 공유하여 협업할 수 있다.

활용 사례

• 비즈니스 분석: 비즈니스 데이터를 시각화하여 중요한 인사이트를 빠르게 도출할 수 있다.
• 임시 분석: 특정 기간 동안의 데이터를 분석하여 트렌드를 파악할 수 있다.
• 데이터 시각화: 다양한 그래프와 도표를 통해 데이터를 쉽게 이해할 수 있도록 시각화할 수 있다.

Athena & QuickSight 통합 모델

Amazon Athena와 QuickSight는 통합하여 데이터 분석과 시각화를 더욱 강력하게 수행할 수 있다. 아래는 두 서비스의 통합 모델이다.

1. 데이터 로드: 사용자가 데이터를 Amazon S3 버킷에 로드한다.
2. 쿼리 및 분석: Amazon Athena를 사용하여 S3에 저장된 데이터를 쿼리하고 분석한다.
3. 보고 및 대시보드: 분석 결과를 Amazon QuickSight로 전송하여 대시보드를 생성하고 시각화한다.