- 지금까지 해본 크롤링 프로젝트 목록 -

- 쿠팡 리뷰크롤링(Access Denied 우회)

- 인스타그램 해쉬태그 페이지 크롤링 (썸네일 이미지 , 본문내용 , 인스타그램아이디 , 좋아요 수 , 게시일자)

- 인스타그램 특정 사용자가 올린 모든 게시글의 댓글 내용 크롤링 또는 특정 사용자의 모든 게시글 크롤링

(게시글 내용 , 이미지 , 등록일 , 좋아요 수 / 댓글 내용 , 댓글 등록일 , 좋아요 수)

- 인스타그램 , 좋아요 , 댓글 , 특정 사용자 팔로우/팔로워 크롤링 자동화 봇

- 스마트스토어 리뷰 크롤링 봇

- 네이트 실시간 검색어 텔레그램 알림봇(검색어 순위 변동 시 텔레그램 알림)

- 이베이 , 알리바바 , 쿠팡 , G마켓 , 11번가 , 옥션 , SSG , 네이버쇼핑 사이트에서 원하는 상품 키워드 입력 후 해당 키워드에 맞는 상품 목록(상품명,상품가격,상품평점,상품링크 그외정보 ..) 크롤링

- 유튜브에서 제목 키워드를 입력받고 해당 키워드에 매칭되는 동영상 목록 크롤링

- 유튜브 댓글 크롤링 (닉네임 , 프로필사진 , 댓글작성시간 , 댓글내용)

- 네이버부동산 지역별 전체 매물 크롤링

(건물 , 상가 , 사무실 , 주택별 :: 콘솔에서 매물타입 선택가능)

- 네이버 쇼핑 사용자가 원하는 키워드 입력 후 해당 키워드에 매칭되는 상품의 번들별 판매처 정보 크롤링

- 아이허브 상품 크롤링 (Captcha 우회)

- 네이버 서로이웃 신청 자동화 , 네이버 블로그 좋아요 및 댓글 자동화

- 네이버 / 다음 키워드 입력 후 키워드들에 해당되는 뉴스링크 실시간으로 텔레그램에 전송해주는 알림봇

(키워드에 매칭되는 새로운 기사 올라오는 경우 바로 텔레그램으로 알림이 가는 봇)

- 국내 자동차브랜드 영업사원 정보(이름 , 이메일주소 , 휴대폰번호 , 지점/브랜드명) 크롤링

- 고등학교 가정통신문 실시간으로 텔레그램에서 알림받기

- 마켓컬리 특정 상품 리뷰 전체 크롤링(리뷰 내용 , 주문자 이름 , 주문한 상품명 ..)

- 네이버 나라 별 모든 영화 제목 크롤링(90,000건에 달하는 영화제목 크롤링)

- 네이버 / 다음 카페 자동 글 쓰기 ( 카페 자동 가입은 지원되지 않습니다 )

- 네이버카페 특정 키워드 입력 후 해당 키워드에 매칭되는 게시글 제목이 있는 경우 게시글의 본문 내용 + 댓글 크롤링

- 네이버카페 특정 게시판에 올라온 10,000개 가량 게시글들의 작성자 이메일 주소 크롤링

- 네이버 /다음 특정 키워드에 매칭되는 카페 리스트 추출하기

- 크롤링 데이터 DB연동 ( MySQL , MariaDB , Oracle , MongoDB )

[알림 또는 백업 받을 임의의 서버 필요 시 서버 구축가능 (월 호스팅비 발생)]

- 모든 크롤링 데이터의 결과 추출은 엑셀 , txt , 워드로 추출이가능

- 멜론 한국대중음악,해외POP,그외인기장르 크롤링(곡명,가수이름,앨범명) [대략 200,000건 이상의 데이터 txt에 추출]

- 디시인사이드 모든 갤러리 링크주소 수집(약 37,000건의 데이터)

- 야놀자 펜션정보 (펜션이미지,숙박정보,주소지,숙소 설명 ..) 크롤링

- 알바몬 공고 크롤링 (자동로그인 , 지역별 특정 공고 게시글 실시간 알림 봇 )

- 구글스토어 앱 리뷰 (최다 62,000건)

- 카카오소설 크롤링 (소설썸네일이미지 , 소설제목 , 소설소개글 , 소설조회수 , 소설장르)

불법사이트 및 불법데이터에 대한 의뢰는 일체 받지 않습니다

결과물은 기본적으로 엑셀로 저장이 되며 , 다른 포맷으로도 변환이 가능합니다

(csv , txt , json)

------------------------------------------------------------------------------------------------

현재 프로그램 제작 의뢰 중 GUI 제작 건은 받지 않고 있습니다.

프로그램 제작 시 CLI 기반으로 제작되며 또한 프로그램 제작보다는 단순 데이터 추출 의뢰에  중점을 두고 의뢰를 받고 있습니다.

- 1차 상담 진행

- 의뢰 페이지 사전 테스트 (작업 가능 유/무 확인)

- 2차 상담 진행

- 중간 결과물 피드백

- 개발 최종 마무리 후 프로그램 전달 or 데이터 파일 (xlsx,txt,json)전달

- 타겟 데이터가 존재하는 사이트

: URL

- 데이터 내용

: 텍스트 형식의 데이터 추출 또는 이미지 데이터 저장 등 ..

: 제목,가격,카테고리,내용 등등

- 수집 페이지

: 데이터 수집 시 타겟 데이터의 양이 많은 경우, 몇 페이지 또는 몇 개의 데이터를 가져올 것인지 명확하게 구분

- 추출방식

: 데이터(excel,xml,json,php,word,csv,txt)

- 로그인 기능이 필요할 시

: TEST/TEST123 처럼 로그인 정보 필요