IT·프로그래밍

크롤링·스크래핑

현직 데이터엔지니어 데이터수집, 크롤링을 도와드립니다.

Dpmagazine 프로필 이미지
Dpmagazine
연락 가능 시간 : 언제나 가능
평균 응답 시간 : 5시간 이내
메인 이미지

서비스 설명

웹 데이터 수집 및 정리가 필요하신가요? 현직 데이터엔지니어가 작업해드립니다!


원하시는 사이트가있다면 어떤사이트든 가능합니다.

작업완료된 데이터는 csv, json 형식으로 전달되며 원하는 형식이 있다면 그에 맞게 전달 해드릴 수 있습니다.


제공 서비스

웹상의 모든 사이트에서 필요한 데이터 수집

맞춤형 프로그램 제작 가능


가능한 작업 예시

동영상 다운로드 프로그램 제작 가능

웹사이트 크롤링 (스크래핑) 데이터 제작가능

유튜브 동영상 메타데이터 수집 가능


특징

대규모 데이터 크롤링 전문

단순 크로미움을 사용한 웹 스크래핑 프로그램이 아니라, 속도 보장 가능합니다.

윈도우, Mac, 리눅스 OS 상관없이 지원가능

서비스 제공 절차

1. 의뢰 상담

사이트의 주소를 남겨주시고, 어떠한 내용을 수집하길 원하는지 말씀해주시면 그에 맞춰 견적을 안내해드립니다.


2. 작업 및 발송

결과물에 대해 작업 내용을 전달해드립니다.

작업 도중 이슈등이 존재하면 크몽을 통해 연락드립니다.


3. 수정

결과물을 수령하신 뒤 데이터 누락등 문제가 발생하면 수정해드립니다.


의뢰인 준비사항

1. 주소 (url)

크롤링 (스크래핑) 이 필요한 사이트에 주소를 준비해주셔야합니다.


2. 수집할 내용

크롤링 (스크래핑) 이 필요한 데이터가 어떠한 데이터인지, 어떤식으로 데이터가 수집되어야하는지 예시 csv 가 필요합니다.

ex)

example.csv

url, 상품명, 가격, 평점, 상품내용, 상품이미지url

https://example.com, 전동스쿠터, 1,000, 4.0, 전동스쿠터..., https://example.com/image.jpg


3. 결과물 파일

TXT, CSV, 엑셀, JSON, DB (sql, nosql) 어떤 파일의 결과물을 원하는지 말씀해주세요.

이미지 다운로드가 필요하다면 말씀해주세요.

개발 언어

Go
Python

데이터베이스

MongoDB
PostgreSQL

상주 여부

상주 불가능

기술 수준

고급:최적화 설계

팀 규모

1인

프런트엔드

Vue.js

클라우드

Amazon EC2
Amazon S3
상세이미지-0

가격 정보

STANDARD

60,000

DELUXE

100,000

PREMIUM

200,000

패키지 설명

단순 크롤링

- 단일페이지 수집 - 단순 작업

동적 복합 크롤링

- 동적데이터 수집 - 로그인 필요 - 여러 페이지 동적 수집

맞춤형 작업

- 소스코드 제공 - 동적 복합 크롤링 - 맞춤형 작업 또는 프로그램 제작

소스 코드 제공

설치 파일

페이지 수

1페이지

0페이지

0페이지

작업일

1일

2일

3일

수정 횟수

0회

1회

1회

전문가 정보

avatar

Dpmagazine

연락 가능 시간 : 언제나 가능
평균 응답 시간 : 5시간 이내

총 작업개수

43건

만족도

96%

회원구분

개인회원

현재 머신러닝 회사에서 데이터엔지니어로 일하고있습니다. 대규모 데이터 프로세싱 파이프라인을 설계 및 사내에서 활용할 크롤러등을 제작하고있고, 1000만건부터 10억건의 데이터처리를 진행하고있습니다. 이전회사 및 현회사에서 풀스텍으로 일하였고, 현재는 데이터엔지니어로 전향하였습니다. 아래는 기술 스텍입니다. React.js, Vue.js, node.js, Golang, python, Postgres, ElasticSearch, MongoDB

수정 및 재진행

취소 및 환불 규정

상품정보고시

리뷰

아직 작성된 리뷰가 없어요.