RDPLINE

크롤링 조건이 바뀐 지금, 데이터 공급 계약 전 확인할 7가지

2026. 10. 14

크롤링 조건이 바뀐 지금, 데이터 공급 계약 전 확인할 7가지

AI 서비스를 만드는 팀이라면 한 번쯤 이런 고민을 합니다. 필요한 데이터를 직접 수집할 것인가, 공급받을 것인가.

최근에는 이 질문의 전제가 달라지고 있습니다. 웹 인프라 기업 클라우드플레어는 2026년 AI 트래픽을 검색·에이전트·학습으로 나눠 관리하는 기능을 내놓았고, 9월에는 검색 노출은 유지하면서 콘텐츠의 학습 이용만 거부할 수 있는 기능을 도입했습니다. 사이트 운영자가 AI의 접근과 이용 목적을 세밀하게 정할 수 있게 된 것입니다.

법적 판단에서도 비슷한 흐름이 보입니다. 미국 Bartz v. Anthropic 사건에서 법원은 문제 된 도서의 학습 이용과, 불법 복제 자료를 확보·보관한 행위를 구분해 판단했습니다. 학습 목적이 인정되더라도 데이터를 어떤 경로로 확보했는지는 별도로 검토된다는 뜻입니다.

이런 변화 속에서 데이터 공급을 검토하는 기업이 늘고 있습니다. 다만 공급받는다고 해서 확인할 일이 사라지는 것은 아닙니다. 계약 전에 무엇을 물어봐야 할지 7가지로 정리했습니다.

1. 권리 근거: 공급사는 이 데이터를 제공할 권한이 있는가?

가장 먼저 확인할 것은 공급사가 해당 데이터를 제3자에게 제공할 권한을 어떤 근거로 갖고 있는지입니다. 원저작자나 콘텐츠 보유자와 라이선스 계약을 맺었는지, 그 계약이 재제공을 허용하는지가 핵심입니다.

공급사가 권리 확보 방식을 설명하지 못한다면, 데이터를 직접 수집하는 것과 리스크 면에서 큰 차이가 없을 수 있습니다.

2. 이용 범위: 우리가 쓰려는 방식이 계약에 포함돼 있는가?

같은 데이터라도 쓰는 방식은 여러 가지입니다. 모델 학습, 검색 색인, RAG를 통한 답변 생성, 요약, 원문 일부 표시는 각각 다른 이용입니다.

계약서에 "AI 활용 가능" 정도로만 적혀 있다면 범위가 모호합니다. 실제 서비스에서 데이터가 어떻게 쓰이는지 먼저 정리하고, 각각이 계약에 포함되는지 확인하세요. 서비스가 확장될 때 이용 범위를 어떻게 조정할 수 있는지도 함께 물어두면 좋습니다.

3. 커버리지: 필요한 데이터 유형과 기간을 충분히 다루는가?

서비스에 필요한 데이터가 한 가지 유형에 그치는 경우는 드뭅니다. 금융 분석 서비스라면 뉴스와 공시, 리포트가 함께 필요하고, 연구 지원 서비스라면 논문과 전문 매체가 함께 필요합니다.

공급사가 다루는 데이터 유형, 출처의 범위, 과거 데이터를 언제부터 제공하는지 확인하세요. 여러 공급사를 조합해야 한다면 계약과 데이터 형식을 맞추는 데 드는 비용도 고려해야 합니다.

4. 갱신 방식: 얼마나 빨리, 어떤 형태로 업데이트되는가?

RAG나 AI 에이전트처럼 최신성이 중요한 서비스에서는 갱신 방식이 품질을 좌우합니다. 클라우드플레어도 AI 기업이 필요로 하지만 접근이 어려워진 콘텐츠로 뉴스, 연구 자료, 전문 업계지를 꼽으며, 이들이 가장 빠르게 바뀌는 콘텐츠라고 설명했습니다.

확인할 항목은 세 가지입니다. 새로운 데이터가 얼마나 빨리 공급되는지, 바뀐 내용만 받을 수 있는지, 원본이 수정되거나 삭제됐을 때 어떻게 반영되는지입니다. 특히 삭제 반영은 서비스에서 내려야 할 콘텐츠를 계속 노출하는 문제와 연결되기 때문에 놓치기 쉽지만 중요합니다.

5. 데이터 형태: 받은 데이터를 바로 쓸 수 있는가?

원문 텍스트만 받는 것과, 발행일·출처·분류·주제어 같은 메타데이터가 정리된 데이터를 받는 것은 이후 작업량이 크게 다릅니다.

메타데이터가 잘 갖춰져 있으면 검색 정확도를 높이고, 출처를 표시하고, 특정 기간이나 주제로 데이터를 걸러내기가 수월해집니다. 샘플 데이터를 받아 실제 파이프라인에 넣어보고, 정제에 얼마나 손이 가는지 확인해보세요.

6. 공급 안정성: 문제가 생겼을 때 어떻게 대응하는가?

실시간으로 데이터를 받는 서비스라면 공급이 멈추는 순간 서비스 품질도 함께 떨어집니다. 공급 지연이나 중단이 발생했을 때의 대응 기준, 장애 통지 절차, 복구 후 누락분을 어떻게 채우는지 계약 단계에서 확인하세요.

출처 측의 정책 변경으로 특정 데이터의 공급이 중단될 가능성이 있는지, 그때 어떻게 안내받는지도 물어둘 만합니다.

7. 비용 구조: 무엇에 대한 비용인지 구분돼 있는가?

데이터 공급 비용에는 데이터 이용 대가, 전송·API 이용료, 정제·가공 비용 등이 섞여 있을 수 있습니다. 항목이 구분돼 있으면 예산을 관리하기 쉽고, 사용량이 늘거나 데이터 범위가 바뀔 때 비용이 어떻게 달라지는지 예측하기도 쉽습니다.

학습용 데이터셋과 실시간 파이프라인, 무게를 다르게 두세요

7가지 항목은 모두 중요하지만, 용도에 따라 더 꼼꼼히 봐야 할 부분이 다릅니다.

구분	학습용 데이터셋	실시간 데이터 파이프라인
주요 용도	모델 학습, 파인튜닝, 평가	RAG, AI 에이전트, 모니터링 서비스
특히 중요한 항목	권리 근거, 이용 범위, 커버리지	갱신 방식, 공급 안정성, 데이터 형태
계약에서 꼭 볼 것	학습 이용 허락 범위와 기간	갱신 주기, 수정·삭제 반영, 장애 대응 기준

두 가지가 모두 필요한 서비스라면, 같은 공급사에서 두 방식을 함께 받을 수 있는지 확인해보는 것도 방법입니다. 데이터 형식과 메타데이터 체계가 같으면 학습과 서비스 운영을 하나의 기준으로 관리할 수 있습니다.