.parquet와 .jsonl는 어떻게 다른가요?
- 확장자
- .parquet
- .jsonl
- 형식
- 바이너리
- 텍스트
- 카테고리
- 데이터
- 개발
- 개발자
- The Apache Software Foundation
- 설명
- Parquet 파일은 열 기반 데이터 테이블이에요. 각 열을 개별적으로 압축하고 데이터 유형 정보와 함께 저장하므로, 분석 도구가 필요한 열만 읽을 수 있어요. 데이터 레이크, Spark, pandas, DuckDB에서 널리 쓰이는 데이터 교환 형식이에요.
- JSON Lines 파일은 한 줄에 하나의 JSON 값을 담으며, 보통 한 줄이 하나의 레코드에 해당해 스트림 형태로 읽고 쓸 수 있어요. 로그, 데이터 내보내기, 머신러닝 데이터셋에 사용돼요.
- MIME 유형
- application/vnd.apache.parquet
- application/jsonl