[Date Engineer] Data Firehose란?

데이터 파이어호스란 데이터를 안전하게 목적지(타겟, s3, redshift등)에 전달하는 역할을 해주는 서비스이다.

[데이터 발생(로그)] -> [Firehose] -> [S3, ...]

와 같은 순서로 진행된다고 보면 된다.

 

 

특징으로는 최소 60초 단위 혹은 1MB 단위로 버퍼링하여 데이터를 적제한다는 것이다.

 

이러한 역할을 하는 것이 firehose밖에 없냐고 물어본다면, 그것은 아니다.

대표적으로 Fluentd와 Logstash가 있다.

 

구분	Amazon Data Firehose	Fluentd / Logstash
관리 주체	AWS (완전 관리)	사용자 (서버 운영 필)
주목적	데이터 적재 (Delivery)	로그 수집 및 필터링
난이도	쉬움	중간
비용	데이터 처리량에 비례	서버 운영비