크롤링·스크래핑 프리랜서를 모집합니다

• 수집 대상 웹사이트의 구조 분석 및 수집 가능 범위 확인
• 크롤러·스크래퍼 스크립트 작성 및 데이터 추출 로직 구현
• 수집한 데이터를 엑셀, 데이터베이스, 구글 시트 등으로 정리
• 로그인이 필요한 사이트의 인증 처리 구현
• 정기 실행을 위한 스케줄러 설정
• 사이트 구조 변경 시 크롤러 코드 수정
• 수집 데이터 중복 제거 및 정합성 점검
• 차단 방지를 위한 요청 간격 조절 및 오류 처리 로직 작성

자주 쓰는 도구와 기술

• Python
• Selenium
• BeautifulSoup
• Scrapy
• Playwright
• 구글 시트 API
• 정규표현식
• 크론(cron) 스케줄러

작업 흐름

1. 1

   수집하려는 사이트와 데이터 항목, 수집 주기를 확인합니다.

2. 2

   대상 사이트의 이용약관과 수집 가능 범위를 함께 확인합니다.

3. 3

   샘플 페이지로 수집 로직을 만들어 결과를 먼저 확인받습니다.

4. 4

   전체 범위로 확장해 데이터를 수집하고 정리 형태를 맞춥니다.

5. 5

   정기 수집이 필요하면 자동 실행 스케줄을 설정합니다.

6. 6

   결과 파일을 전달하고 이후 사이트 구조 변경 시 대응 범위를 안내합니다.

• 수집 대상 사이트 개수와 페이지 구조 복잡도를 기준으로 나눕니다.
• 1회성 수집인지 정기 자동 수집인지에 따라 크게 달라집니다.
• 로그인·인증이 필요한 사이트인지 여부로 나눕니다.
• 수집 데이터양과 저장 형태(엑셀, 데이터베이스 등)에 따라 나눕니다.
• 사이트 구조 변경 시 코드 수정을 몇 회까지 지원할지 정합니다.
• 정기 수집 시 실행 서버 운영 주체에 따라 범위가 달라집니다.

패키지 구성 예시

• 수집 결과 샘플(익명 처리된 데이터 표)을 포트폴리오로 준비합니다.
• 포트폴리오 제목에 수집 유형(가격, 매물, 리뷰 등)을 구체적으로 적습니다.
• 첫 답장에서 대상 사이트 주소와 이용약관 확인 여부를 먼저 물어봅니다.
• 이용약관상 수집이 제한된 사이트는 진행이 어려울 수 있음을 명확히 안내합니다.
• 정기 수집이 가능한지, 1회성만 가능한지 프로필에 구체적으로 표기합니다.
• 차단 방지나 안정적 수집을 위한 기술 경험을 구체적으로 설명합니다.
• 샘플 데이터로 결과를 먼저 확인시켜 신뢰를 쌓습니다.

대상 사이트 이용약관 위반 소지

작업 전 대상 사이트의 이용약관과 로봇 배제 표준(robots.txt)을 확인하고 위반 소지가 있으면 의뢰인에게 미리 안내합니다.

사이트 구조 변경으로 크롤러가 멈춤

구조 변경 가능성을 계약 전 안내하고, 수정 지원 범위와 기간을 명확히 정합니다.

과도한 요청으로 접속 차단됨

요청 간격을 조절하고 대상 사이트 서버에 부담을 주지 않는 방식으로 설계합니다.

수집 데이터 형식이 의뢰인 요구와 다름

작업 전 샘플 데이터로 원하는 형식(컬럼, 정렬 등)을 먼저 확인받습니다.

개인정보가 포함된 데이터 수집 요청

개인정보가 포함된 수집은 관련 법령 검토가 필요함을 안내하고 범위를 신중히 정합니다.

• API 연동·개발
• 봇·챗봇
• 완성형 프로그램 스토어
• 엑셀·스프레드시트
• 일반 프로그램
• 프로그램 수정·유지보수
• 서버·클라우드
• 업무 자동화