마법(Mage)를 사용하여 쉽고 빠르게 데이터 파이프라인 생성하기

Find AI Tools in second

Find AI Tools

No difficulty

No complicated process

Find ai tools

Home AI News KR 마법(Mage)를 사용하여 쉽고 빠르게 데이터 파이프라인 생성하기

Updated on Feb 12,2024

마법(Mage)를 사용하여 쉽고 빠르게 데이터 파이프라인 생성하기

Mage란? (마법이란?)

Mage는 최신 오픈 소스 플랫폼으로, 서드 파티 소스에서 데이터를 통합하고 동기화할 수 있는 기능을 제공합니다. Python, R 및 SQL을 사용하여 실시간 및 배치 데이터 파이프라인을 구축하고, 데이터 변환을 수행할 수 있으며, 데이터 파이프라인의 워크플로우 관리와 오케스트레이션에 매우 강력합니다. 이번 튜토리얼에서는 Mage를 사용하여 기본 데이터 파이프라인을 생성하는 방법을 알아보겠습니다.

Mage 설치하기

Mage를 설치하려면 먼저 Docker가 로컬 환경에 설치되어 있고 실행 중인지 확인해야 합니다. 설치과정은 Mage의 GitHub 저장소에 자세히 설명되어 있습니다. Docker가 설치되어 있다면 몇 가지 명령을 사용하여 Mage를 설치할 수 있습니다.

docker run -p 6789:80 -e DOMAIN_NAME=<YOUR_DOMAIN_NAME.> -e USE_SSL=true mag:latest

Mage를 설치하고 실행한 후 Web 인터페이스에 접속할 수 있습니다. Mage는 포트 6789에서 실행되므로 브라우저에서 http://localhost:6789로 접속하면 Mage의 인터페이스를 볼 수 있습니다.

데이터 로드 및 변환

Mage를 사용하여 데이터 파이프라인을 만들기 위해 먼저 데이터를 로드하고 변환해야 합니다. Mage는 API에서 데이터를 읽어와 PostgreSQL 데이터베이스에 저장하는 단계로 구성된 데이터 파이프라인을 생성하도록 도와줍니다.

데이터를 로드하기 위해 Mage에서는 "Data Loader" 블록을 사용합니다. 이 블록을 사용하여 Python을 통해 API에서 데이터를 읽어올 수 있습니다. 예를 들어, Mage에서 호스팅하는 레스토랑 관련 데이터를 사용할 수 있습니다.

변환 단계에서는 데이터 필터링을 위해 "Transformer" 블록을 사용할 수 있습니다. 예를 들어, rating이 3보다 큰 레스토랑 레코드만 필터링할 수 있습니다.

데이터를 PostgreSQL 데이터베이스에 로드하기 위해 Mage의 "Data Exporter" 블록을 사용할 수 있습니다. 이 블록을 사용하여 SQL 문을 실행하여 데이터를 PostgreSQL에 저장할 수 있습니다.

데이터 파이프라인 생성하기

Mage를 사용하여 데이터 파이프라인을 생성하려면 먼저 Mage 인터페이스에 접속하고 "New" 버튼을 클릭합니다. 그런 다음 "Standard Batch Pipeline"을 선택하여 데이터 파이프라인을 생성합니다.

데이터 파이프라인은 세 가지 단계로 구성됩니다. 첫 번째 단계는 API에서 데이터를 읽어오는 "Data Loader" 블록입니다. 두 번째 단계는 데이터를 변환하는 "Transformer" 블록입니다. 세 번째 단계는 데이터를 PostgreSQL 데이터베이스에 로드하는 "Data Exporter" 블록입니다.

각 단계에서 필요한 구성을 마치고 파이프라인을 실행하면 데이터가 읽혀지고 변환되며 PostgreSQL 데이터베이스에 로드됩니다.

Mage를 이용한 데이터 파이프라인 사용하기

Mage를 사용하여 생성한 데이터 파이프라인은 수동으로 실행하거나 일정에 따라 자동으로 실행할 수 있습니다. Mage 인터페이스에서 파이프라인을 선택하고 실행을 클릭하면 파이프라인이 실행됩니다.

파이프라인 실행 중에는 각 단계의 실행 상태와 블록 간의 연결 관계를 확인할 수 있습니다.

Mage의 장점

오픈 소스로 무료로 사용할 수 있습니다.
다양한 데이터 소스를 통합하고 동기화할 수 있습니다.
Python, R 및 SQL을 사용하여 실시간 및 배치 데이터 파이프라인을 구축할 수 있습니다.
데이터 변환과 워크플로우 관리에 강력한 기능을 제공합니다.
확장 가능한 아키텍처로 대규모 데이터 처리에 적합합니다.

Mage의 단점

초기 설정과 설치 과정이 복잡할 수 있습니다.
문서화 및 지원이 부족할 수 있습니다.

Mage와의 비교

기타 비슷한 데이터 파이프라인 도구에는 Apache Airflow, Luigi, Nifi 등이 있습니다. 이들 도구와 Mage를 비교할 때 각각의 장단점을 고려해야 합니다. Mage는 사용하기 쉽고 Python, R 및 SQL을 자유롭게 사용할 수 있는 강력한 기능을 제공하지만 문서화가 좀 더 발전되어야 할 것입니다.

결론

이 튜토리얼에서는 Mage를 사용하여 데이터 파이프라인을 만드는 방법에 대해 알아보았습니다. Mage는 강력한 기능을 제공하는 오픈 소스 플랫폼으로, 데이터 소스와의 통합, 데이터 변환, 데이터 로드 등 다양한 작업을 지원합니다. Mage를 사용하면 데이터 파이프라인을 빠르고 쉽게 구축할 수 있습니다.