웹 크롤링, 데이터 수집, 전처리 및 시각화

데이터 수집부터, 시각화까지 데이터 활용에 필요한 모든 서비스를 제공합니다.

[진행한 프로젝트]

- 약 100개 정도의 사이트 크롤링을 담당

- 자동화 프로그램 개발

- 크롤링한 데이터의 전처리 및 가공 후 데이터베이스 적재

- 태블로를 활용한 데이터 시각화 진행 및 리포트 생성

- Python 을 활용한 데이터 시각화 대시보드 웹페이지 생성

[개발언어 및 환경]

- Python

- MySQL / Duckdb

- Pandas

[가능한 작업]

- 크롤링 자동화를 통한 업무 효율 증대

- 필요한 데이터 수집 및 적재를 통해 인사이트 발굴

- 데이터 전처리를 통해 데이터 분석 용이하게 하기

- 간단한 시각화를 통해 보고 자료 만들기

[수집 예시]

- 네이버 뉴스 기사 수집

- 네이버 블로그 게시글, 댓글 수집

- 유튜브 댓글 수집

- 스마트 스토어 리뷰 수집

- 네이버 증권 탭 데이터 수집

- 증권 API 데이터 실시간 수집

* 법적으로 문제되는 개인정보 혹은 불법 사이트 등은 크롤링하지 않습니다.

1. 상담 후 견적

문의사항이나 요구사항을 바탕으로 상담을 진행합니다.

2. 작업 프로세스 전달 및 확인

작업 기간이나 자세한 사항 결과물을 안내합니다.

3. 주문 결제 후 작업 진행

결제 후 작업을 시작합니다.

4. 결과물 피드백

결과물을 전달하고 검수 기간을 가집니다.

5. 수정을 통해 최종 결과물 전달

수정 사항이 있을 경우 진행하고 최종 결과물을 전달합니다.

1. 크롤링을 원하시는 웹사이트 주소를 알려주세요

2. 사이트별로 수집하려는 데이터에 대해 알려주세요.

3. 원하는 프로세스를 간단히 사진이나 영상으로 보내주시면 작업하기에 더 용이합니다.

4. 결과물 포맷을 알려주세요.