.arrow와 .parquet는 어떻게 다른가요?
- 확장자
- .arrow
- .parquet
- 형식
- 바이너리
- 바이너리
- 카테고리
- 데이터
- 데이터
- 개발자
- The Apache Software Foundation
- The Apache Software Foundation
- 설명
- Arrow IPC 파일은 Apache Arrow의 메모리 내 열 기반 구조로 데이터 테이블을 저장하므로 메모리 매핑을 통해 변환 없이 읽을 수 있어요. Feather 버전 2 파일도 같은 형식이에요.
- Parquet 파일은 열 기반 데이터 테이블이에요. 각 열을 개별적으로 압축하고 데이터 유형 정보와 함께 저장하므로, 분석 도구가 필요한 열만 읽을 수 있어요. 데이터 레이크, Spark, pandas, DuckDB에서 널리 쓰이는 데이터 교환 형식이에요.
- MIME 유형
- application/vnd.apache.arrow.file
- application/vnd.apache.parquet