논문 데이터 수집 Python/R

연구 가설과 심증은 있는데 정작 데이터가 없으신가요?

게시판, 카페, 저널, 일반 웹사이트 등 데이터 수집만 하면 되는데 직접 할 엄두가 나지 않으신가요?

단순 데이터 수집이 아닙니다.

연구 분석을 위한 데이터 수집으로 향후 통계 및 머신러닝 분석까지 고려한 연구분석용 데이터 수집 서비스 입니다.

!!! 반드시 본인이 수집하고자 하는 데이터가 있는 웹사이트 등 주소를 알고 있어야 합니다!!!

[수집 예시]

주가 데이터: 일/분 단위 국내외 주가 데이터 수집(분 단위는 고비용 발생)

암호화폐 데이터: 각 사이트의 제공 API 활용

논문 데이터: 특정 저널의 사이트 직접 크롤링 또는 API 활용

온라인 쇼핑몰 데이터: 1회성 수집 또는 주기적 수집을 통한 가격 변동 확인

대중교통 관련 데이터: 공공데이터 파일 또는 API 활용 수집

유튜브: 영상 조회수/좋아요/댓글 등 직접 크롤링 또는 API 기반

[결과 예시]

보통 "엑셀" 또는 "CSV" 파일 형태로 가공하여 드립니다.

수집 데이터의 종류가 많거나 용량이 너무 큰 경우(DB 또는 클라우드 서비스 사용 등) 별도로 협의합니다.

[X안되는 것X]

N사 지도상의 신규 상점 정보, G사 등 특정 검색엔진으로 나오는 결과물 전체, 특정 사이트의 회원정보 일체, 본인이 수집해야 하는 데이터가 어디에 있는지 모르는 경우

1) 명확한 목표 설정: 연구 목적 및 연구 주제를 명확히 하고 해당 내용에 맞는 데이터 출처를 탐색합니다.

2) 수집 프로그램 제작: 데이터 수집을 위한 크롤러 또는 API 연결 프로그램을 개발합니다.

3) 최초 데이터 수집: 제작된 초기 버전의 프로그램을 활용하여 데이터를 수집합니다.

4) 데이터 검증: 수집된 샘플 데이터와 목표 데이터가 서로 일치하는지 상호 확인합니다.

5) 수집 프로그램 보완: 이전 절차와 논의 사항을 종합하여 수집 프로그램을 보완합니다.

6) 전체 데이터 수집: 보완된 프로그램 기반 데이터 전체를 수집합니다.

7) 데이터 검증: 수집된 데이터와 목표 데이터가 서로 일치하는지 상호 확인하며 필요시 재수집 합니다.

※ 최초 제안 또는 견적 대비 큰 변경이 있을 경우 의뢰인과 재논의 및 협상을 합니다.

8) 서비스 종료: 인계한 데이터 최종 검증 완료 후 의뢰를 종료합니다.

서비스 제공 중 생산한 코드의 제공 또는 해당 코드 기반 교육을 요청할 경우 비용이 발생할 수 있습니다.

수집 데이터의 특성에 따라 수집 시일이 매우 오래 걸릴 수 있습니다.

정확한 데이터 위치와 수집 사이트 확보: 제가 데이터를 찾아주는 것이 아니라 데이터를 코드의 도움 없이 수집할 엄두가 나지 않을 때 이 서비스를 이용하시는 겁니다. 수집할 데이터의 정확한 위치(url, 스크린샷)가 반드시 준비되어야 합니다!!

명확한 목표 설정: 연구 목적 및 연구 주제를 명확히 하고 해당 내용에 맞는 데이터 출처를 탐색해야 제대로 된 연구 결과가 나옵니다.

안될 수 있음: 설계한 가설에 부합하지 않는 결과가 나올 수 있습니다. 신중하게 검토하세요.

수집 시간의 지연: 데이터 제공측의 문제로 수집에만 1개월이 걸리는 경우도 있습니다.

제발 안급하다 하지 마시고 언제까지는 완료하는 것이 좋다고 하셔야 합니다....