LG엔솔 다빈치 플랫폼 구축
📌 개요
LG에너지솔루션 다빈치 플랫폼 구축 프로젝트에서 데이터 수집을 담당했습니다.
🛠 기술스택
- Python, SQL, Airflow, Hadoop
- Oracle, Mssql, Hive
🧩 주요 역할
- LG에너지솔루션 각 법인의 원천 테이블을 조회 및 확인
- Airflow을 통하여 원천 테이블을 중간 저장소(Hive, Hadoop)에 적재
- 데이터 정합성을 확보하기 위해 원천 테이블과 Hive 서버 간의 스키마 동기화 및 오류 검증 로직 수행
🔍 상세 기여 내용
- 공장별 데이터 적재 과정을 자동화하여 수작업 의존도를 제거하고, 데이터 처리 효율성을 크게 향상
- 데이터 적재/갱신 주기를 안정적으로 운영하여 사용자들이 실시간에 가까운 데이터 기반 분석 환경 활용 가능