본문 바로가기

전체 글

(25)

[Apache Iceberg] Iceberg 설계 아키텍처 및 주요 특징 🧊 Apache Iceberg: The Definitive Guide 책을 바탕으로 작성되었습니다. 1. How Did We Get Here? A Brief History2. The Data Warehouse 3. The Data Lake4. Should I Run Analytics on a Data Lake or a Data Warehouse?5. The Data Lakehouse6. What is a Table Format? 7. Hive : The Original Table Format 8. Modern Data Lake Table Formats 9. What is Apache Iceberg? ◀︎10. Conclusion ◀︎ ► Chapter 1. Introduction to Apache Ic..

[Apache Iceberg] Iceberg 이전의 Table Format, Hive 🧊 Apache Iceberg: The Definitive Guide 책을 바탕으로 작성되었습니다. 📍 Chapter 1. Introduction to Apache Iceberg 글 모아보기 : ► 1편 : [Apache Iceberg] 등장 배경 (1) : OLAP와 Data Warehouse► 2편 : [Apache Iceberg] 등장 배경 (2) : Data Lake와 Data Lakehouse► 4편 : [Apache Iceberg] Iceberg 설계 아키텍처 및 주요 특징 💡 들어가며지난 글에서는 Data Lake와 Data Lakehouse에 대해 살펴보았습니다.이번 글에서는 Apache Iceberg가 등장하게 될 때까지 Table Format의 역사 흐름에 대해 짧게 살펴보도록 ..

[Apache Iceberg] 등장 배경 (2) : Data Lake와 Data Lakehouse 🧊 Apache Iceberg: The Definitive Guide 책을 바탕으로 작성되었습니다. 💡 들어가며 지난 글에서는 데이터 분석을 위한 OLAP의 개념 및 구성 요소와, Data Warehouse의 특징에 대해 살펴보았습니다.이번 글에서는 Data Warehouse의 한계를 극복하기 위해 등장한 Data Lake에 대해 알아보도록 하겠습니다. 📍 Chapter 1. Introduction to Apache Iceberg 글 모아보기 : ► 1편 : [Apache Iceberg] 등장 배경 (1) : OLAP와 Data Warehouse► 3편 : [Apache Iceberg] Table Format이란?, 대 Hive Table Format의 시대 ► 4편 : [Apache Iceber..

[Apache Iceberg] 등장 배경 (1) : OLAP와 Data Warehouse 🧊 Apache Iceberg: The Definitive Guide 책을 바탕으로 작성되었습니다. 💡 들어가며 Apache Iceberg는 최근 대규모 데이터를 저장하고 관리할 때 널리 활용되고 있는 오픈 테이블 포맷입니다.오픈 테이블 포맷이란 어떤 개념일까요? 그리고 Apache Iceberg를 많은 곳에서 사용하는 이유는 무엇일까요?이를 알기 위해서는 Apache Iceberg가 탄생하게 된 배경을 이해하고 있어야 합니다.이번 글에서는 그 첫 번째로 OLAP와 Data Warehouse에 대해 살펴보도록 하겠습니다. 📍 Chapter 1. Introduction to Apache Iceberg 글 모아보기 : ► 2편 : [Apache Iceberg] 등장 배경 (2) : Data Lake와..

Kafka Consumer Group Rebalancing(리밸런싱) 들어가며 Kafka Connect를 통해 데이터를 Sink 하는 과정에서 Commit 내용에 데이터가 포함되지 않는 현상이 발생했습니다. 그로 인해 데이터가 중복 처리되거나 누락되는 문제가 생겼고, 일정한 패턴 없이 시간이 지나면 다시 정상 작동하는 경우도 있어 원인 파악이 쉽지 않았습니다. 이번 글에서는 Sink Connector의 Consumer Override 설정을 통해 빈번한 리밸런싱 현상으로 인한 데이터 불일치 현상을 해결한 내용을 공유드리고자 합니다. 1. 문제 상황2. Kafka Consumer Group의 Rebalancing 동작 과정3. Kafka Consumer Group의 Rebalancing이 발생하는 경우4. Sink Connector의 Consumer Override 설정5...

[4장 부호화와 발전] 데이터 직렬화(3) - 스키마 🐘 BOAZ 23기 데이터 엔지니어링 멘멘 스터디 - "데이터 중심 애플리케이션 설계" 책을 바탕으로 작성되었습니다. 3편에서는 데이터 직렬화의 마지막으로 스키마에 대해서 자세히 알아보자! ☝🏻 1편 : 데이터 직렬화의 개념https://nothing-study.tistory.com/33 [4장 부호화와 발전] 데이터 부호화(직렬화) 형식 (1)데이터 부호화 형식프로그램에서는 데이터를 표현해야 하는 두 가지 상황이 있다.☝🏻 메모리에 데이터를 저장할 때✌🏻 파일에 쓰거나 네트워크를 통해 데이터를 전송할 때 메모리에 저장nothing-study.tistory.com ✌🏻 2편 : Apache Thrift, Protocol Buffers, Avrohttps://nothing-study.tistory..

[4장 부호화와 발전] 데이터 직렬화 (2) - Thrift, Protocol Buffer, Avro 🐘 BOAZ 23기 데이터 엔지니어링 멘멘 스터디 - "데이터 중심 애플리케이션 설계" 책을 바탕으로 작성되었습니다. 1편에서 직렬화의 개념에 대해 살펴보았다면, 이제 조금 더 잘 만들어진 직렬화 방식들에 대해 하나씩 살펴보자. 👇🏻 1편 바로가기https://nothing-study.tistory.com/33 [4장 부호화와 발전] 데이터 부호화(직렬화) 형식 (1)데이터 부호화 형식프로그램에서는 데이터를 표현해야 하는 두 가지 상황이 있다.☝🏻 메모리에 데이터를 저장할 때✌🏻 파일에 쓰거나 네트워크를 통해 데이터를 전송할 때 메모리에 저장nothing-study.tistory.com 이번 글에서도 아래 JSON 레코드를 이진 부호화해보는 예시를 들어볼 예정이다3️⃣ 스리프트 와 프로토콜 버퍼..

[4장 부호화와 발전] 데이터 직렬화 (1) - 개념 🐘 BOAZ 23기 데이터 엔지니어링 멘멘 스터디 - "데이터 중심 애플리케이션 설계" 책을 바탕으로 작성되었습니다.데이터 부호화 형식프로그램에서는 데이터를 표현해야 하는 두 가지 상황이 있다.☝🏻 메모리에 데이터를 저장할 때✌🏻 파일에 쓰거나 네트워크를 통해 데이터를 전송할 때 메모리 → 객체(object), 구조체(strcut), 목록(list), 배열(array), 트리(tree) 같은 데이터 구조파일/네트워크 → 컴퓨터가 이해할 수 있는 바이트열의 형태로 "부호화" 필요그리고 이 두 가지 표현 사이에서 전환을 할 수 있어야 한다.인메모리 표현에서 바이트열로의 전환을 부호화(=직렬화, 마샬링)라고 하며그 반대를 복호화(=파싱, 역직렬화, 언마샬링)이라고 한다. GPT 피셜 ) 데이터베이스 트랜..

이전 1 2 3 4 다음

티스토리툴바