웹 검색 및 스크래핑

Venice는 웹 페이지 탐색과 콘텐츠 추출을 위한 별도의 API를 제공합니다:

Web Search는 제목, URL, 스니펫, 날짜가 포함된 구조화된 결과를 반환합니다.
Web Scrape는 선택된 공개 페이지를 Markdown으로 변환합니다.

애플리케이션이 추론 전에 최신의 검증 가능한 소스 자료를 필요로 할 때 두 API를 함께 사용하세요.

웹 검색

Search API로 쿼리를 전송하세요:

curl https://api.venice.ai/api/v1/augment/search \
  -H "Authorization: Bearer $VENICE_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"query":"latest developments in decentralized AI"}'

Brave가 기본 제공자이며 Zero Data Retention을 제공합니다. Google도 사용 가능하며, 쿼리는 익명화되어 Venice를 통해 프록시됩니다. 제공자 선택 방법과 전체 응답 스키마는 Web Search API 참조를 확인하세요.

페이지 스크래핑

결과를 선택한 후 해당 공개 URL을 Scrape API로 전송하세요:

curl https://api.venice.ai/api/v1/augment/scrape \
  -H "Authorization: Bearer $VENICE_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"url":"https://example.com/article"}'

엔드포인트는 페이지 콘텐츠를 Markdown으로 반환합니다. 사이트의 네이티브 Markdown 표현이 있으면 먼저 이를 요청하고, 그렇지 않은 경우에는 브라우저 기반 추출을 사용합니다.

검색-스크래핑 워크플로

검색

집중된 쿼리를 제출하고 구조화된 결과를 수집하세요.

소스 선택

페이지 콘텐츠를 가져오기 전에 결과를 관련성, 도메인, 날짜로 필터링하세요.

스크래핑

애플리케이션에서 실제로 사용할 페이지에서만 Markdown을 추출하세요.

콘텐츠 사용 또는 저장

Markdown을 프롬프트에 포함하거나, 임베딩을 생성하거나, 캐시하거나, 인용을 위해 소스 URL을 보존하세요.

독립형 검색과 모델 웹 검색 중 어느 것을 사용해야 할까?

애플리케이션이 소스 선택을 제어해야 하거나 검색된 콘텐츠를 재사용하려는 경우 독립형 API를 사용하세요. Venice가 단일 추론 요청의 일부로 검색을 처리하도록 하려면 모델 요청에서 웹 검색을 활성화하세요.

필요 사항	접근 방식
추론 전에 결과를 검사하거나 필터링	독립형 Web Search
알려진 특정 URL 추출	독립형 Web Scrape
검색된 콘텐츠 캐시 또는 재사용	독립형 API
모델이 최신 컨텍스트를 자동으로 검색하도록 함	모델 웹 검색

Web Search와 Web Scrape는 실험적 API입니다. 요청 및 응답 형식은 사전 통지 없이 변경될 수 있습니다. Web Scrape는 공개적으로 접근 가능한 페이지만 허용하며, 자동화된 접근을 차단하는 사이트는 거부될 수 있습니다.

문서

시작하기

텍스트 및 채팅

이미지

비디오

오디오

검색 및 RAG

에이전트 및 통합

코딩 도구

에이전트 도구

SDK 및 프레임워크

웹 검색

페이지 스크래핑

검색-스크래핑 워크플로

독립형 검색과 모델 웹 검색 중 어느 것을 사용해야 할까?

관련 리소스

​웹 검색

​페이지 스크래핑

​검색-스크래핑 워크플로

​독립형 검색과 모델 웹 검색 중 어느 것을 사용해야 할까?

​관련 리소스

웹 검색

페이지 스크래핑

검색-스크래핑 워크플로

독립형 검색과 모델 웹 검색 중 어느 것을 사용해야 할까?

관련 리소스