웹 크롤링/스크래핑 프로그램 제작해드립니다

웹에 있는 대량의 데이터를 반복적으로 수집하는 일을 도와드리겠습니다.

마케팅 연구, 경쟁사 분석, 업무 효율성 증가 등의 목적으로 같은 종류의 데이터를 반복적으로 수집해야 한다면, 해당 데이터를 크롤링 하는 전용 프로그램을 한 번만 제작해두면 작업 시간을 대폭 절약하고 업무 피로도를 낮출 수 있습니다.

수집 가능한 예시 데이터 목록)

- 네이버 블로그, 카페, 포털 검색 결과, 뉴스, 부동산, 쇼핑 및 스마트스토어 리뷰

- 쿠팡, 지마켓, 무신사 등 오픈 마켓 검색 결과 및 리뷰 데이터

- 유튜브 및 각종 커뮤니티 사이트 게시글 및 댓글

위에 나열한 웹사이트가 아니더라도 화면상에 나타나는 모든 정보는 모두 크롤링 해낼 수 있습니다(특수한 경우 제외). 다만, 셀레니움을 사용하게 되는 상황에서 자동가입입력 방지 문자, 캡챠(CAPTCHA)와 같이 봇의 접근을 막는 웹사이트의 경우 수집이 불가할 수 있습니다.

경우에 따라 웹사이트의 숨은 데이터를 크롤링 할 수 있는 경우가 있기도 합니다 (예: 네이버 카페 회원 ID). 일반적인 경우는 아니지만 이런 데이터에 접근할 수 있다면 크롤링을 도와드리겠습니다.

프로그램의 형태

프로그램은 사용하기 쉽도록 콘솔 (명령 프롬프트/터미널) 또는 GUI 프로그램으로 제작해 드립니다. 콘솔 프로그램은 텍스트 기반으로 작동하며 투박할 수 있지만 제작에 큰 어려움이 없습니다. GUI 프로그램은 시각적인 인터페이스가 존재하여 이용에 편리함은 있지만 제작 난이도가 콘솔 프로그램에 비해 높아 제작에 비용이 더 들어갑니다.

크롤링 결과물만 제공받는 게 아닌 크롤링 결과물을 만들어내는 프로그램이기 때문에 크롤링 대상 사이트의 구조가 변경되지 않는 한 무한히 사용하실 수 있습니다.

최적화된 프로그램 & 빠른 수집 속도

동일한 웹페이지라도 구조를 분석하는 방법, 사용된 기술 등에 따라 크롤링 속도가 천차만별로 나뉩니다. 웹페이지를 자세히 분석해서 최대한 빠르고 효율적으로 수집할 수 있도록 프로그램을 설계해 드리겠습니다.

* 유의 사항

- 2차 판매 및 수정, 배포를 금지합니다.

- 제공받으신 프로그램은 크몽 서비스의 포트폴리오로 활용될 수 있습니다. (민감한 개인정보 및 사이트는 모자이크)

- 소스코드는 함께 제공해 드리지 않습니다.

* 유의 사항 II

- 본 서비스는 크롤링 프로그램 개발 서비스입니다. 데이터 수집 및 가공 과정에서 자동화의 성격을 띨 수는 있으나, 자동화 & 매크로 프로그램은 아닙니다. 매크로 프로그램 개발 관련 문의는 자제 부탁드립니다.

1. 상담

- 결제 이전에 상담 연락을 먼저 주시면 견적 산출을 도와드리겠습니다.

- 요구하시는 웹 사이트의 데이터 구성이 복잡한 정도, 기타 작업 난이도에 따라 비용과 작업 시간이 결정됩니다.

2. 제작 및 전달

- 상담에서 결정된 내용에 맞춰서 개발을 진행해드립니다. 제작 과정에서의 추가 요청 사항은 개발에 영향을 미치는 정도에 따라 추가금이 발생할 수도 있습니다. 제작이 완료되면 연락드리겠습니다.

3. 수정

- 개발 및 전달이 완료된 이후에 발생하는 수정 사항은 경우에 따라 유상 또는 무상으로 진행됩니다. 아래 <수정 및 재진행 안내> 항목을 확인해주세요.

1. 정보/데이터 수집을 원하는 웹 사이트 주소

2. 수집을 원하는 데이터 항목

3. 프로그램의 구체적인 작동 방식에 대한 설명

- 설명이 구체적일수록 정확하게 제작해드릴 수 있습니다.

3. 결과물 저장 양식 및 확장자

- 결과물은 엑셀 파일(xls, xlsx), csv, txt, json 등의 확장자로 저장가능합니다.