RDPLINE, 데이터 가공 솔루션과 뉴스·논문 통합 검색 API를 오픈했습니다

지난 8월 12일, RDPLINE이 데이터 가공 솔루션과 뉴스·논문 통합 검색 API를 새롭게 공개했습니다. 실시간 데이터 파이프라인으로 데이터를 안정적으로 실어 나르던 RDPLINE에, 데이터를 다듬고 서로 다른 소스를 연결하는 두 가지 역량이 더해졌습니다.

원시 데이터를 활용 가능한 데이터로: 데이터 가공 솔루션

RDPLINE은 데이터 가공 솔루션 페이지를 새롭게 오픈했습니다. 원시 데이터를 그대로 전달하는 대신, AI와 서비스가 곧바로 활용할 수 있는 형태로 다듬는 세 가지 기능을 제공합니다.

메타데이터 인리치먼트: 인물, 기업, 기관 등 엔티티와 지역, 주제, 사건 같은 속성을 자동으로 식별해 구조화된 메타데이터로 제공합니다.

데이터 중복 제거: 유사한 콘텐츠를 그룹화하고, 최장 본문·최초 발행·최근 발행·발행량 상위 매체 등의 기준에 따라 대표 데이터를 선정합니다.

쿼리 기반 데이터 추출: AND, OR, 제외 연산자와 정확한 구문 검색을 지원해 필요한 데이터만 정확히 선별해 추출할 수 있습니다.

세 기능 모두 데이터를 양으로 쌓는 것이 아니라, 목적에 맞게 찾고 이해할 수 있는 데이터로 만드는 데 초점을 맞췄습니다.

뉴스와 논문, 하나의 API 호출로

뉴스와 논문의 메타정보를 하나의 API 호출로 함께 검색할 수 있는 통합 검색 API도 이번에 공개됐습니다.

• 계약된 매체나 기간과 무관하게 전체 코퍼스를 대상으로 검색 가능
• 본문은 제외한 메타정보만 제공
• 뉴스와 논문 소스는 서로 독립적으로 처리되어, 한쪽에 장애가 생겨도 다른 쪽은 정상 응답

이 API는 비큐에이아이의 뉴스 데이터와 라이너의 학술검색 API를 연결해 만들어졌습니다. 원본 데이터베이스를 주고받는 방식이 아니라 API를 통해 각자의 데이터와 서비스를 연결하는 방식을 택했고, 그 결과 지난 협약이 실제 운영 서비스로 구현됐습니다. 특정 현안을 검색하면 관련 뉴스와 학술적 근거를 함께 확인할 수 있는 형태입니다.

RDPLINE이 넓히고 있는 것

RDPLINE은 실시간 데이터 파이프라인이라는 본래 역할 위에, 데이터를 의미 있게 다듬는 가공 능력과 서로 다른 소스를 하나의 창구에서 연결하는 통합 검색 능력을 하나씩 더해가고 있습니다. 필요한 데이터를 실시간으로 연결하는 것에서, 그 데이터를 목적에 맞게 다듬고 서로 다른 정보까지 함께 탐색할 수 있게 하는 것까지 — RDPLINE이 넓혀가는 것은 데이터의 양이 아니라 데이터를 활용할 수 있는 방식입니다.