블로그
크롤링은 합법일까 불법일까? 의뢰받는 개발자가 쓰는 판단 기준
2026년 8월 31일
한 줄 답변: 공개된 웹페이지의 정보를 자동으로 수집하는 크롤링 자체는 한국에서 불법이 아닙니다. 불법이 되는 것은 수집이라는 행위가 아니라, 막아둔 곳에 들어가거나(약관·접근 차단), 남의 데이터베이스를 통째로 복제하거나(저작권법), 개인정보를 함부로 쓰거나(개인정보 관련 법), 서버에 부담을 줘 서비스를 방해할 때(업무방해)입니다. 이 글은 크롤링 프로그램 3건을 제작해 납품한 노마랩이, 의뢰를 받을 때 실제로 검토하는 기준으로 합법과 불법의 경계를 정리한 안내서입니다. 법률 자문이 아니며, 분쟁 소지가 있는 사안은 변호사 상담이 필요합니다.
크롤링은 언제 불법이 되나요?
크롤링으로 문제가 생기는 지점은 크게 4곳입니다. 어떤 사이트를 긁느냐가 아니라, 무엇을 어기면서 긁고, 긁은 것을 어디에 쓰느냐가 갈림길입니다.
| 문제 영역 | 관련 규정 | 문제가 되는 행위 |
|---|---|---|
| 접근 권한 | 정보통신망법 | 로그인 차단, 접근 차단(캡차 등)을 기술적으로 우회해 들어가는 것 |
| 데이터베이스 복제 | 저작권법(데이터베이스제작자 보호) | 남이 비용과 노력을 들여 쌓은 데이터베이스의 상당 부분을 복제해 내 영업에 쓰는 것 |
| 개인정보 | 개인정보 보호법·정보통신망법 | 이름·연락처 같은 개인정보를 목적 없이 수집하거나, 수집한 연락처로 동의 없이 광고를 보내는 것 |
| 서버 부하 | 형법(업무방해) | 짧은 간격의 대량 요청으로 상대 서비스 운영을 방해하는 것 |
거꾸로 말하면, 누구나 볼 수 있는 공개 정보를, 서버에 부담을 주지 않는 속도로, 개인정보와 데이터베이스 복제 문제 없이 모으는 것은 지금까지의 판례 기준으로 문제가 되지 않았습니다.
실제 소송에서는 어떻게 판단됐나요?
한국에서 크롤링의 경계를 보여주는 대표 판례는 2건입니다. 결과가 서로 달라서 함께 봐야 경계가 보입니다.
숙박 앱 사건(야놀자-여기어때): 여기어때 측은 2016년 야놀자 서버에 1,594만여 회 접속해 제휴 숙박업소 목록·가격 정보를 수집했고, 정보통신망 침해와 업무방해 등으로 기소됐습니다. 2022년 5월 대법원은 무죄를 확정했습니다. 수집된 정보 대부분이 일반 이용자에게 이미 공개된 정보였다는 것이 핵심 이유였습니다. 다만 형사 무죄와 별개로 민사 손해배상 소송은 따로 진행됐습니다. 형사에서 무죄라고 배상 책임까지 사라지는 것은 아닙니다.
채용 사이트 사건(잡코리아-사람인): 사람인이 잡코리아의 채용공고를 크롤링해 자사 사이트에 게재한 사건에서, 법원은 채용공고 데이터베이스의 무단 복제를 데이터베이스제작자 권리 침해로 인정했습니다. 서울고등법원은 간접강제금 2억 원과 손해배상 2억 5천만 원, 합계 4억 5천만 원의 지급을 명령했고, 9년에 걸친 소송 끝에 사람인이 잡코리아에 합의금 120억 원을 지급하며 마무리됐습니다.
두 판례를 겹쳐 보면 기준이 드러납니다. 공개된 정보를 보는 것과 남의 데이터베이스를 복제해 내 영업 자산으로 삼는 것은 법적으로 완전히 다른 행위입니다. 노마랩이 의뢰를 검토할 때도 "모은 데이터를 어디에 쓰실 건가요?"를 먼저 묻는 이유가 여기에 있습니다.
robots.txt와 이용약관을 어기면 처벌받나요?
robots.txt(사이트 운영자가 자동 수집 허용 범위를 적어두는 표준 파일)는 그 자체로 법은 아닙니다. 하지만 운영자가 "여기는 자동 수집을 하지 말라"고 밝힌 명시적 의사 표시라서, 이를 무시한 수집은 분쟁에서 불리한 정황이 됩니다. 이용약관도 마찬가지입니다. 약관 위반이 곧바로 형사처벌로 이어지는 것은 아니지만, 계약 위반에 따른 민사 책임과 계정 제재의 근거가 되고, 위 판례들처럼 다른 위법 요소와 결합하면 배상 책임의 무게를 키웁니다.
그래서 노마랩은 견적 단계에서 대상 사이트의 robots.txt와 약관을 먼저 확인하고, 막아둔 영역을 우회하는 방식의 제작은 처음부터 제안하지 않습니다.
공개된 연락처를 수집해서 영업에 써도 되나요?
수집과 활용은 별개의 문제입니다. 사업장 상호·주소·전화번호처럼 영업을 위해 스스로 공개한 정보를 모아 시장 조사나 내부 자료로 쓰는 것은 일반적입니다. 하지만 수집한 연락처로 광고 문자나 메일을 보내는 순간 다른 규정이 적용됩니다. 정보통신망법상 영리 목적의 광고성 정보 전송에는 수신자의 사전 동의가 필요하고, 위반 시 과태료 대상입니다.
노마랩이 납품한 전국 공인중개사 사무소 수집기도 같은 기준으로 검토했습니다. 공개된 사업장 정보의 수집은 진행하되, 활용 계획(광고 발송 여부)을 의뢰인과 먼저 확인하고 광고 전송 시의 동의 요건을 견적 단계에서 안내했습니다.
노마랩은 의뢰를 받으면 무엇을 먼저 확인하나요?
노마랩은 크롤링 의뢰가 들어오면 개발 착수 전에 3가지를 검토합니다. 2026년 8월 기준 납품한 크롤링 프로그램 3건(경매 물건, 공인중개사 연락처, 금융기관 보도자료) 전부가 이 검토를 통과하고 만들어졌습니다.
- 대상 사이트의 약관과 robots.txt - 자동 수집을 금지한 영역인지, 로그인·차단을 우회해야만 접근되는 곳인지 확인합니다.
- 수집 항목에 개인정보가 있는지 - 있다면 수집 목적과 활용 계획(특히 광고 발송 여부)을 함께 확인합니다.
- 서버에 주는 부담 - 요청 사이에 대기시간을 넣어 설계합니다. 납품한 3건 모두 이 방식이며, 경매 물건 수집기는 요청 간격을 기본 3초에 변동 폭 30%를 둔 랜덤 대기로 만들었습니다.
세 프로그램이 각각 무엇을 어떻게 수집하는지는 크롤링 프로그램 제작, 실제 사례 3건으로 보는 데이터 수집 자동화에 실행 화면과 함께 정리해 두었습니다.
이런 의뢰는 받지 않습니다
문의가 와도 진행하지 않는 유형입니다. 견적 단계에서 이유와 함께 먼저 말씀드립니다.
- 캡차·접근 차단을 기술적으로 우회하는 수집 - 우회 자체가 약관 위반이나 정보통신망 침해가 될 수 있습니다. 이 경우 공식 데이터 제공(API)이나 다른 출처를 먼저 검토합니다.
- 유료 회원 전용 콘텐츠나 타인 저작물을 통째로 복제하는 작업 - 잡코리아 판례가 보여주듯 데이터베이스 복제는 배상 책임으로 이어집니다.
- 로그인해야만 보이는 타인의 개인정보 수집 - 수집 근거를 만들 수 없는 영역입니다.
반대로 "이게 되는 건지 안 되는 건지 모르겠다"는 상태의 문의는 환영합니다. 되는 범위와 안 되는 이유를 구분해 드리는 것까지가 견적 단계의 일이고, 견적 확인은 무료입니다.
자주 묻는 질문
robots.txt만 지키면 안전한가요?
아닙니다. robots.txt는 4가지 검토 항목 중 하나일 뿐입니다. robots.txt가 허용하는 영역이라도 개인정보를 동의 없이 광고에 쓰거나, 데이터베이스를 통째로 복제해 경쟁 서비스를 만들면 별개의 법 위반이 됩니다.
경쟁사 가격을 모니터링하는 것은 합법인가요?
누구나 볼 수 있는 공개 가격을, 서버에 부담을 주지 않는 빈도로 확인해 내부 참고 자료로 쓰는 것은 일반적인 시장 조사 범위입니다. 다만 상대 약관이 자동 수집을 금지하는지, 수집한 가격 데이터를 외부에 재판매하지 않는지는 확인이 필요합니다.
수집한 데이터를 판매해도 되나요?
내부 활용과 재판매는 법적 무게가 다릅니다. 남의 사이트에서 모은 데이터를 그대로 상품화하면 데이터베이스제작자 권리 침해 소지가 커집니다. 판매 목적이라면 가공 정도와 출처 데이터의 성격을 사전에 따져야 하고, 이 단계는 변호사 검토를 권합니다.
크롤링 의뢰 전에 무엇을 준비하면 되나요?
수집하려는 사이트 주소, 필요한 항목, 모은 데이터의 활용 계획 3가지면 됩니다. 이 정보만 있으면 가능 여부와 문제 소지를 견적 단계에서 함께 검토해 드립니다. 수집 방법별 비교는 웹사이트 자료수집 방법 4가지를 참고하세요.
하려는 수집이 되는 일인지, 무료로 확인해보세요
크롤링은 되는 일과 안 되는 일의 경계만 지키면 합법적으로 쓸 수 있는 자동화입니다. 수집하려는 사이트 주소와 필요한 항목을 알려주시면, 가능 여부와 문제 소지, 견적을 무료로 안내드립니다.