카테고리: Data Engineering

2021
Data EngineeringDeltalake

델타 레이크 소개

개요 Delta Lake는 데이터 레이크에 안정성을 제공하는 오픈 소스 스토리지 계층입니다. ACID 트랜잭션을 제공하고, 확장 가능한 메타데이터를 처리하고, 스트리밍 및 일괄 처리 데이터 처리를 통합합니다. Delta Lake는 기존 데이터 레이크를 기반으로 하여 실행되며 Apache Spark API와 완벽하게 호환됩니다. Deltalake 주요 특징

2019
Data EngineeringElasticSearch

엘라스틱서치 소개

서문엘라스틱서치(Elasticsearch)는 루씬 기반의 검색 엔진이다. HTTP 프로토콜을 사용하여 스키마에 종속되지 않고 JSON 문서를 처리할 수 있다. 루씬은 역색인 구조를 통하여 빠른 검색 결과를 제공하였고, 이를 기반으로 한 엘라스틱서치 또한 빠르게 생태계에 안착하며 광범위하게 사용되어지는 오픈소스가 되었다. 현재 가장 최신 버전은 7.x 버전이