Apify의 API 키 및 사용법

유뷰브에서 정보를 긁어올때 많이 쓰는 Apify에 대해 알아보겠습니다.

 

아래는 Apify의 홈페이지 화면입니다.

내요을 간단히 살펴보면, 

 

홈페이지 중앙에는 다음과 같은 글이 적혀 있습니다.

 

"Build reliable web scrapers. Fast."

"Apify is the platform where developers build, deploy, and publish web scraping, data extraction, and web automation tools."

"Sign up for free" / "Browse existing tools"

"Powering the world's top data-driven teams"

 

"신뢰할 수 있는 웹 스크래퍼를 빠르게 구축하세요."

"Apify는 개발자들이 웹 스크래핑, 데이터 추출, 웹 자동화 도구를 구축, 배포, 출판할 수 있는 플랫폼입니다."

"무료로 가입하기" / "기존 도구 둘러보기"

"세계 최고의 데이터 중심 팀들이 사용하는 솔루션"

 

Apify 사용법 설명

Apify는 웹 스크래핑과 데이터 추출을 쉽게 할 수 있도록 도와주는 플랫폼입니다. 

웹사이트에서 데이터를 수집하고 자동화하는 작업을 수행하는 데 유용합니다. 

 

 

사용법은 다음과 같은 단계로 진행됩니다.

회원가입 및 로그인

Apify의 홈페이지에서 "Sign up for free" 버튼을 클릭하여 회원가입을 진행하세요.

가입 후 로그인하면 다양한 기능을 사용할 수 있습니다.

가입 과정에서 몇가지 질문을 하는 데, 질문 내용을 아래와 같습니다.

 

질문: "Are you planning to use Apify via API?
This will help us provide you with relevant integration tips."

 

번역: "API를 통해 Apify를 사용할 계획이 있습니까?
이는 저희가 적절한 통합 팁을 제공하는 데 도움이 됩니다."

 

선택지:

• Yes (예)
• No (아니요)
• Not sure yet (아직 잘 모르겠음)

YES를 누르시면 됩니다.

 

Apify는

"Browse existing tools" 버튼을 클릭하여 Apify에서 제공하는 웹 스크래핑 도구들을 둘러볼 수 있습니다.

이미 개발된 스크래퍼를 이용하여 쉽게 데이터를 수집할 수 있습니다.

 

새로운 웹 스크래퍼를 만들고 싶다면 Apify의 웹 인터페이스를 통해 간편하게 설정할 수 있습니다.

스크래핑하려는 웹사이트의 URL을 입력하고, 수집할 데이터를 선택하면, 스크래퍼가 데이터를 자동으로 수집하고 원하는 형식으로 변환합니다.

 

설정이 완료되면 스크래퍼를 실행하여 데이터를 수집합니다.

수집된 데이터는 CSV, JSON, Excel과 같은 형식으로 다운로드할 수 있습니다.

 

Apify에서는 웹 스크래핑 작업을 정기적으로 수행할 수 있도록 스케줄링 기능을 제공합니다.

원하는 시간에 자동으로 스크래핑이 실행되도록 설정할 수 있어 반복적인 작업을 줄일 수 있습니다.

 

Apify는 API를 통해 다른 애플리케이션과 쉽게 통합할 수 있습니다.

데이터를 실시간으로 가져와 다른 시스템에 적용하는 것도 가능합니다.

 

Apify의 다양한 기능들은 "Apify Store"에서 Actors라 불리는 앱들을 다운받아 사용할 수 있습니다.

 

All Actors

Explore 3,000+ pre-built Actors for your web scraping and automation projects.
(웹 스크래핑 및 자동화 프로젝트를 위한 3,000개 이상의 미리 구축된 액터를 탐색하세요.)

 

주요 Actors의 기능을 살펴보면:

1. Website Content Crawler
   • 웹사이트에서 텍스트 콘텐츠를 크롤링하여 AI 모델, LLM 애플리케이션, 벡터 데이터베이스 또는 RAG 파이프라인에 활용합니다.
   • (사용자 수: 32.3k, 평점: 878)
2. Instagram Scraper
   • 인스타그램 게시물, 프로필, 장소, 해시태그, 사진 및 댓글을 크롤링하고 다운로드합니다.
   • (사용자 수: 67.3k, 평점: 771)
3. Google Maps Email Extractor
   • Google 지도에서 이메일, 웹사이트 및 기타 연락처 정보를 추출합니다.
   • (사용자 수: 11.6k, 평점: 341)

---

Apify Store의 기능 및 특징:

1. 미리 구축된 'Actors':
   • 'Actors'란 Apify에서 제공하는 자동화 스크립트로, 특정 작업(예: 데이터 크롤링, 자동화 등)을 수행합니다.
   • 3,000개 이상의 다양한 Actor가 제공되며, 즉시 사용할 수 있습니다.
2. 다양한 카테고리:
   • Social Media: 소셜 미디어 데이터 크롤링 (예: Instagram, TikTok)
   • Lead Generation: 고객 정보 수집
   • SEO Tools: SEO 분석 및 데이터 수집
   • Automation: 작업 자동화
   • Developer Tools: 개발자용 API 및 도구
3. 사용자 친화적인 UI:
   • 좌측 메뉴에서 Actors, Schedules, Storage 등 다양한 옵션을 선택할 수 있습니다.
   • 검색창을 통해 원하는 Actor를 빠르게 검색 가능.
4. 유연한 데이터 처리:
   • Apify는 JSON, CSV, XML 등 다양한 데이터 형식을 지원하며, 클라우드 저장소에 데이터를 저장할 수 있습니다.
5. 확장성:
   • API 통합 기능을 통해 개발자가 자신의 시스템과 Apify를 연동하여 사용할 수 있습니다.

---

Apify 사용법:

1. 가입 및 로그인:
   • Apify 웹사이트에 가입 후 로그인합니다.
2. Actor 선택:
   • 스토어에서 원하는 Actor를 선택합니다. 예: Instagram Scraper.
3. 설정:
   • Actor의 설정을 자신의 요구에 맞게 조정합니다(예: URL 입력, 필터 설정 등).
4. 작업 실행:
   • 실행 버튼을 눌러 Actor를 실행합니다. 완료 후 결과 데이터를 다운로드하거나 저장소에서 확인할 수 있습니다.
5. 스케줄링 및 자동화:
   • 특정 주기로 작업을 자동화하려면 Schedules 기능을 사용합니다.

 

그리고, Apify를 MAKE에서 사용하기 위해서는 API를 발급받아야 하는데요.

 

그러기 위해서는, 좌측 메뉴판에 있는 Setting에 들어가신 후,

 

상단에 있는 API&Integrations를 클릭.

 

복사 키를 눌러 API 키를 COPY한 후, MAKE로 돌아와 아래 창에 API 키를 붙여넣으면 끝납니다.

 

 

개인적으로, 몇개의 추가 Actors를 다운받았습니다.

 

기능 및 비용에 대한 기준을 좀 살펴보면,

---

1. YouTube Transcripts

• 기능:
  • YouTube 동영상의 자막(트랜스크립트)을 추출하는 도구입니다.
  • 사용자가 제공한 YouTube 동영상 URL에서 자동 생성된 자막 또는 업로드된 자막을 가져옵니다.
  • 다양한 언어의 자막도 추출 가능합니다.
• 비용 기준:
  • $7.50 / 1,000 transcripts(1,000개의 동영상 자막 추출에 $7.50가 부과됩니다.)
  • 사용량 기반 결제 모델로, 필요에 따라 지불합니다.
• 사용 통계:
  • 월 266명의 사용자
  • 56개의 별점

---

2. Instagram Reel Scraper

• 기능:
  • Instagram Reels에서 데이터를 스크래핑하는 도구입니다.
  • Reels의 메타데이터(제목, 해시태그, 좋아요 수, 댓글 수 등) 및 URL을 수집합니다.
  • 특정 해시태그나 사용자 계정을 기반으로 데이터를 수집할 수 있습니다.
• 비용 기준:
  • $2.30 / 1,000 reels(1,000개의 Reels 데이터를 스크래핑하는 데 $2.30가 부과됩니다.)
  • 저렴한 비용으로 대량의 Reels 데이터를 수집 가능.
• 사용 통계:
  • 월 632명의 사용자
  • 156개의 별점

---

3. Meta Threads Profile Scraper

• 기능:
  • Meta의 Threads 플랫폼에서 프로필 데이터를 스크래핑합니다.
  • 사용자 이름, 프로필 사진, 팔로워 수, 팔로잉 수와 같은 데이터를 수집.
  • Threads 사용자의 공개 정보를 기반으로 분석에 유용합니다.
• 비용 기준:
  • $5.00 / 1,000 profiles(1,000개의 프로필 데이터를 스크래핑하는 데 $5.00가 부과됩니다.)
  • 프로필 데이터 기반 마케팅 또는 연구에 적합한 도구입니다.
• 사용 통계:
  • 월 42명의 사용자
  • 11개의 별점

---

주요 사용 사례:

1. YouTube Transcripts:
   • 동영상의 스크립트를 자동으로 생성하여 자막 파일로 활용하거나 번역에 사용.
   • 데이터 분석, SEO, 콘텐츠 작성에 유용.
2. Instagram Reel Scraper:
   • 특정 캠페인 모니터링, 해시태그 트렌드 분석, 경쟁사 리서치.
   • 인플루언서 협업이나 마케팅 전략 설계에 활용 가능.
3. Meta Threads Profile Scraper:
   • Meta Threads에서 사용자 데이터를 기반으로 한 연구나 타겟 마케팅.
   • 소셜 네트워크 분석 및 잠재 고객 탐색.

---

비용 관리 팁:

• Apify는 사용량 기반 과금 방식이므로 프로젝트의 데이터 요구 사항을 정확히 분석한 뒤 효율적으로 사용할 수 있습니다.
• 1,000개 단위로 데이터를 수집할 수 있어 소규모 테스트 후 확장하는 방식이 비용 절감에 효과적입니다.

 

 

 

이상입니다.