.avro와 .parquet는 어떻게 다른가요?
- 확장자
- .avro
- .parquet
- 형식
- 바이너리
- 바이너리
- 카테고리
- 데이터
- 데이터
- 개발자
- The Apache Software Foundation
- The Apache Software Foundation
- 설명
- Avro 객체 컨테이너 파일은 레코드와 이를 설명하는 JSON 스키마를 함께 담으며, 간결한 바이너리 인코딩을 사용해요. Kafka와 Hadoop 파이프라인에서 흔히 사용해요.
- Parquet 파일은 열 기반 데이터 테이블이에요. 각 열을 개별적으로 압축하고 데이터 유형 정보와 함께 저장하므로, 분석 도구가 필요한 열만 읽을 수 있어요. 데이터 레이크, Spark, pandas, DuckDB에서 널리 쓰이는 데이터 교환 형식이에요.
- MIME 유형
- application/avro
- application/vnd.apache.parquet