프로젝트 설명
매일 외부 사이트를 순회해 신규 콘텐츠를 수집하고 규격에 맞게 가공한 뒤 저장소에 적재하는 파이프라인을 설계하고 구현했습니다.
사람이 개입하지 않아도 정해진 시각에 수집이 돌고 실패한 작업은 자동으로 재시도합니다. 주간 실적은 집계해 Telegram으로 발송합니다.
작업 큐를 분리해 수집 가공 업로드가 서로를 막지 않도록 구성했고
컨테이너로 묶어 배포했습니다. 자동화 테스트 500건 이상으로 회귀를
검증하며 운영했습니다.
가장 신경 쓴 부분은 조용히 멈추지 않게 만드는 것이었습니다.
어느 단계가 실패했는지 알림으로 즉시 알 수 있게 설계했습니다.
기술 스택
PythonSeleniumFastAPI Celery Redis Docker
