블로그
크롤링 프로그램 제작, 실제 사례 3건으로 보는 데이터 수집 자동화
2026년 8월 5일
한 줄 답변: 크롤링 프로그램은 사람이 웹사이트에 직접 들어가서 눈으로 확인하고 복사하던 정보를, 정해진 조건대로 자동으로 모아 엑셀·데이터베이스로 정리해주는 맞춤 제작 소프트웨어입니다. 수집 대상 사이트와 필요한 항목이 정해져 있다면 대부분 자동화가 가능하며, 결과물은 보통 의뢰인이 바로 열어 쓸 수 있는 엑셀 파일로 납품됩니다.
이 글은 크롤링 프로그램을 실제로 제작해 납품해 온 노마랩이, 납품 사례 3건을 기준으로 "무엇을 어디까지 수집할 수 있는지"를 정리한 안내서입니다. 내가 매일 손으로 모으는 데이터도 자동화가 되는지 판단하는 기준으로 삼으실 수 있습니다.
크롤링 프로그램은 어떤 데이터를 수집하나요?
화면에 보이는 정보라면 대부분 수집 대상이 됩니다. 노마랩에 실제로 의뢰가 들어오는 유형은 크게 4가지입니다.
- 목록형 데이터 - 경매 물건, 입찰 공고, 부동산 매물처럼 조건을 걸어 검색하고 한 건씩 확인하던 목록입니다.
- 사업자·기관 정보 - 상호, 주소, 연락처, 홈페이지 주소처럼 공개된 사업장 정보를 지역별로 모으는 경우입니다.
- 공지·보도자료 - 여러 기관 사이트를 매일 돌며 새 글이 올라왔는지 확인하던 모니터링 업무입니다.
- 가격·재고 정보 - 경쟁사 상품 가격이나 품절 여부를 주기적으로 기록해 변동을 추적하는 경우입니다.
반대로 로그인해야만 보이는 타인의 개인정보, 유료 회원 전용 콘텐츠를 통째로 복제하는 작업은 진행하지 않습니다. 이런 의뢰는 견적 단계에서 이유와 함께 먼저 말씀드립니다.
실제로 어떤 크롤링 프로그램을 만들었나요?
노마랩이 제작해 납품한 크롤링 프로그램 3건입니다. 모두 실제 실행 화면이며, 최종 결과물은 엑셀 파일입니다.
1. 지지옥션 경매 물건 수집기
경매 투자자가 매일 하던 물건 검색과 정리를 자동화한 프로그램입니다. Chrome 브라우저를 자동으로 제어해 검색 결과의 모든 페이지를 순회하며 물건번호를 모읍니다.
- 키워드 조건: AND(
아파트 강남구), OR(아파트,빌라), 제외(-임차권)를 조합해 원하는 물건만 남깁니다. - 대상 사이트에 부담을 주지 않도록 요청 사이에 랜덤 대기시간(기본 3초, 변동 폭 30%)을 둡니다.
- 수집 중 일시중지와 재시작이 가능하고, 결과는 서식이 적용된 엑셀로 저장됩니다.
- Windows 10/11에서 exe 파일을 더블클릭하면 실행됩니다(별도 설치 과정 없음).
2. 전국 공인중개사 사무소 수집기
지역별 중개사무소 정보를 시/도, 시/군/구, 읍/면/동 3단계로 좁혀 수집하는 프로그램입니다. 상호, 대표자, 전화번호, 도로명·지번 주소, 홈페이지 주소를 xlsx 파일로 저장합니다.
이 사이트는 클릭할 때마다 화면 일부가 새로 그려지는 동적 페이지라, 단순히 주소를 읽는 방식으로는 데이터가 나오지 않습니다. 화면이 실제로 그려질 때까지 기다렸다가 읽는 방식으로 처리했습니다.
사례 자세히 보기: 전국 공인중개사 사무소 연락처 크롤링 프로그램
3. 5개 금융기관 보도자료 수집기
매일 5개 기관 사이트를 돌며 새 보도자료를 확인하던 업무를 버튼 하나로 줄인 프로그램입니다. 개인정보보호위원회, 금융위원회, 금융감독원, 한국인터넷진흥원(KISA), 금융보안원이 대상입니다.
- 필요한 기관만 체크해서 수집하고, 기관당 1~100건까지 개수를 정할 수 있습니다.
- 여러 기관을 동시에 처리해 30건 기준 평균 2~3분이면 끝납니다.
- 기관명, 제목, 발행일자, 주소, 본문을 엑셀로 저장하며 파일명에 수집 일시가 자동으로 붙습니다.
크롤링은 합법인가요?
공개된 정보를 모으는 것 자체가 불법은 아닙니다. 다만 아래 3가지는 반드시 지켜야 하며, 노마랩은 견적 단계에서 이 부분을 먼저 검토합니다.
- 대상 사이트의 이용약관과 수집 규칙 - 약관에서 자동 수집을 금지하거나 로봇 배제 규칙(robots.txt)으로 막아둔 영역인지 확인합니다.
- 개인정보 관련 법 - 이름·연락처처럼 개인을 알아볼 수 있는 정보는 수집 목적과 근거가 있어야 합니다. 특히 수집한 연락처로 광고를 보내려면 정보통신망법에 따라 수신자의 사전 동의가 따로 필요합니다.
- 서버에 부담을 주지 않는 속도 - 짧은 간격으로 대량 요청을 보내면 업무방해가 될 수 있습니다. 위 경매 사례에서 랜덤 대기시간을 둔 것이 이 때문입니다.
요청하신 작업이 문제 소지가 있다고 판단되면 대안을 제시하거나, 진행이 어려운 이유를 분명히 말씀드립니다.
수집이 어려운 사이트도 있나요?
있습니다. 난이도는 대체로 아래 순서로 올라가며, 이 난이도가 곧 제작 규모와 기간을 결정합니다.
- 정적 페이지 - 주소만 열면 내용이 그대로 보이는 형태로 가장 단순합니다.
- 동적 페이지 - 스크롤하거나 버튼을 눌러야 내용이 나타납니다. 실제 브라우저를 띄워 조작하는 방식으로 처리합니다.
- 로그인 필요 - 계정으로 접속해야 보이는 화면입니다. 의뢰인 본인 계정으로 직접 로그인한 뒤 수집을 시작하는 방식(경매 사례가 이 방식)으로 만듭니다.
- 자동 접속 차단 - 캡차나 접근 차단 장치가 있는 사이트입니다. 우회 자체가 약관 위반이 될 수 있어, 이 경우에는 공식 데이터 제공(API)이나 다른 출처를 먼저 검토합니다.
내 PC에서 돌리나요, 서버에서 돌리나요?
실행 방식은 3가지이며, 필요한 주기에 따라 고르면 됩니다.
- 버튼 실행형 - 내 PC에서 프로그램을 열고 버튼을 눌러 실행합니다. 가장 저렴하고, 위 사례 3건 모두 이 방식입니다.
- 예약 실행형 - 내 PC에서 정해진 시각에 자동 실행됩니다. PC가 켜져 있어야 합니다.
- 서버 실행형 - 서버에서 24시간 돌아갑니다. 내 PC를 꺼도 되지만 서버 구축 비용과 월 이용료가 따로 발생합니다.
하루 한 번 확인하면 되는 업무라면 버튼 실행형으로 충분합니다. 실시간 감시나 알림이 필요할 때만 서버 방식을 권합니다.
제작은 어떤 순서로 진행되나요?
- 대상과 항목 확인 - 어느 사이트에서 어떤 값을 모을지, 결과물이 어떤 형태여야 하는지 정리합니다.
- 견적 안내 - 사이트 구조를 실제로 확인한 뒤 제작 범위와 기간, 금액을 안내합니다. 견적 확인은 무료입니다.
- 수집 로직 개발 - 검색 조건, 필터, 저장 형식을 요청하신 업무 순서에 맞춰 구현합니다.
- 시험 수집 결과 확인 - 실제로 모은 엑셀 파일을 먼저 보시고, 빠진 항목이나 형식을 조정합니다.
- 납품 - 더블클릭으로 실행되는 파일과 사용 방법을 함께 전달합니다.
제작 비용은 얼마나 드나요?
크롤링 프로그램에는 정가가 없습니다. 수집 대상 사이트의 구조(정적인지 동적인지, 로그인이 필요한지), 자동화할 단계 수, 실행 방식, 유지보수 범위에 따라 규모가 몇 배씩 달라지기 때문입니다. 견적이 어떻게 정해지는지는 자동화 프로그램 제작 비용을 결정하는 5가지 요인에서 자세히 정리했습니다.
크롤링 외의 자동화(엑셀 정리, 알림 발송, 서비스 연동 등)까지 함께 검토 중이시라면 업무 자동화 프로그램으로 자동화할 수 있는 업무 6가지를 먼저 보시면 범위를 잡기 쉽습니다.
자주 묻는 질문
수집한 데이터를 영업에 써도 되나요?
수집과 활용은 별개의 문제입니다. 공개된 사업장 정보를 모아 시장 조사나 내부 자료로 쓰는 것은 일반적이지만, 수집한 연락처로 광고 문자나 메일을 보내려면 정보통신망법에 따라 수신자의 사전 동의가 필요합니다. 활용 계획을 미리 알려주시면 견적 단계에서 함께 검토해 드립니다.
사이트가 바뀌면 프로그램이 멈추나요?
대상 사이트가 화면 구조를 크게 바꾸면 수정이 필요할 수 있습니다. 자주 있는 일은 아니지만 언젠가는 생기는 일이라, 계약 전에 개편 시 수정 조건을 미리 안내해 납품 후 예상치 못한 비용이 생기지 않도록 하고 있습니다.
프로그래밍을 몰라도 쓸 수 있나요?
네. 납품하는 프로그램은 화면에서 조건을 고르고 버튼을 누르는 형태입니다. 위 사례 3건 모두 마우스 조작만으로 수집부터 엑셀 저장까지 끝나며, 파이썬 같은 개발 도구를 따로 설치할 필요가 없습니다.
한 번만 필요한 데이터인데 프로그램이 필요할까요?
일회성이라면 프로그램을 만드는 대신 필요한 데이터만 정리해 엑셀로 전달해 드리는 방식이 더 저렴합니다. 앞으로도 반복해서 최신 데이터가 필요할 때 프로그램 제작이 의미가 있습니다. 어느 쪽이 나은지도 견적 단계에서 말씀드립니다.
모으던 데이터, 견적부터 무료로 확인해보세요
매일 사이트를 열어 확인하고 복사해 옮기는 데이터가 있다면, 그 업무가 자동화 대상인지 확인하는 것부터 시작하면 됩니다. 수집하려는 사이트 주소와 필요한 항목만 알려주시면 가능 여부와 견적을 무료로 안내드립니다.