Dataflow를 사용한 서버리스 데이터 처리: 파이프라인 개발
Enroll now →
About this course
Dataflow 과정 시리즈의 두 번째 편에서는 Beam SDK를 사용하여 파이프라인을 개발하는 방법을 자세히 살펴보겠습니다. 먼저 Apache Beam 개념에 대한 복습부터 시작하겠습니다. 다음으로 윈도우, 워터마크, 트리거를 사용하여 스트리밍 데이터를 처리하는 방법을 알아봅니다. 그런 다음 파이프라인의 소스 및 싱크 옵션, 정형 데이터를 표현하는 스키마, State 및 Timer API를 사용하여 스테이트풀(Stateful) 변환을 수행하는 방법을 다룹니다. 이제 파이프라인 성능을 극대화하는 데 도움이 되는 권장사항을 살펴보겠습니다. 과정의 마지막 부분에서는 Beam에서 비즈니스 로직을 표현하기 위한 SQL과 DataFrame을 소개하고 Beam 노트북을 사용하여 파이프라인을 반복적으로 개발하는 방법을 알아봅니다.
What you'll learn
- understand Apache Beam concepts
- process streaming data using windows, watermarks, and triggers
- perform stateful transformations with State and Timer API
- maximize pipeline performance
- use SQL and DataFrames for business logic in Beam
Skills you'll gain
Related courses
Virtualization, Docker, and Kubernetes for Data Engineering
USD 49
Internet of Things and AI Cloud
USD 49
Cloud Computing Law: Data Protection and Cybersecurity
USD 49
Cloud Machine Learning Engineering and MLOps
USD 49
Network Systems: Principles in Practice
USD 49
Cloud Computing
USD 49
Cloud Application Development Foundations
USD 49
TCP/IP and Internet
USD 49
Course details are provided by the platform and may change — always confirm on the provider's site. Links may be affiliate links.