Data Engineer (3년 이상)

프로덕션 환경에 맞춰 스크래퍼를 배포하고 모니터링할 수 있어요

다양한 형식의 데이터를 BigQuery에 적재할 수 있어요

Batch 작업의 병렬처리와 의존성을 활용하여 안정적인 데이터 파이프라인을 구축할 수 있어요

텍스트 데이터를 처리하고 분석하는 기본 개념과 도구들을 다룰 수 있어요

Prometheus와 Grafana로 모니터링 대시보드를 구축할 수 있어요

의존성 주입과 보안 기능을 활용할 수 있어요

LlamaIndex를 설치하고 기본 인덱싱과 질의 실습을 할 수 있어요

무엇인지 알아요

벡터의 기본 개념을 알아요

버킷 보안 설정과 CORS 구성을 할 수 있어요

여러 체인을 연결해 복합 작업을 자동화할 수 있어요

파인튜닝 데이터 준비와 효율적 모델 업데이트를 수행할 수 있어요

스트리밍 데이터를 실시간으로 처리할 수 있어요

S3와 HDFS에서 데이터를 저장하고 관리할 수 있어요

무엇인지 알아요

로컬 환경에서 클러스터를 구성하고 관리할 수 있어요

테이블을 디자인할 때 고려해야 할 점들을 알아요

ElastiCache 클러스터를 생성하고 기본 설정을 할 수 있어요

OpenSearch 인덱스를 생성하고 매핑을 설정할 수 있어요

집계와 다양한 검색 기능을 활용할 수 있어요

파이프라인 파라미터화 및 템플릿을 활용할 수 있어요

디자인 패턴을 다룰 수 있어요

데이터 스트리밍과 분석 서비스를 활용할 수 있어요

EKS 노드 관리, 네트워킹, IAM 통합을 구성할 수 있어요