Development ★ 65,490

Apify Automation

Apify ile web scraping ve veri çıkarmayı otomatikleştirin -- Composio Apify entegrasyonu aracılığıyla Actor'ları çalıştırın, dataset'leri yönetin, yeniden kullanılabilir görevler oluşturun ve crawl sonuçlarını alın.

cd ~/.claude/skills
git clone https://github.com/ComposioHQ/awesome-claude-skills.git awesome-claude-skills

Apify Otomasyonu

Apify web scraping Actors'ını çalıştırın ve veri setlerini Claude Code'dan doğrudan yönetin. Crawlers'ı senkron veya asenkron olarak çalıştırın, yapılandırılmış veriler alın, yeniden kullanılabilir görevler oluşturun ve terminalinizi terk etmeden çalıştırma günlüklerini inceleyin.

Toolkit dokümantasyonu: composio.dev/toolkits/apify


Kurulum

  1. Composio MCP sunucusunu konfigürasyonunuza ekleyin:
    https://rube.app/mcp
    
  2. İstendiğinde Apify hesabınızı bağlayın. Agent, bir kimlik doğrulama bağlantısı sağlayacaktır.
  3. apify.com/store adresinde mevcut Actors'ları inceleyin. Her Actor'ün kendine özgü bir input şeması vardır -- çalıştırmadan önce her zaman Actor'ün dokümantasyonunu kontrol edin.

Temel İş Akışları

1. Bir Actor'ü Senkron Olarak Çalıştırın ve Sonuçları Alın

Bir Actor'ü çalıştırın ve veri set öğelerini hemen tek bir çağrıda alın. Hızlı scraping işleri için idealdir.

Tool: APIFY_RUN_ACTOR_SYNC_GET_DATASET_ITEMS

Temel parametreler:

  • actorId (gerekli) -- username/actor-name formatında Actor ID (örn., compass/crawler-google-places)
  • input -- Actor'ün şemasıyla eşleşen JSON input nesnesi. Her Actor'ün benzersiz alan adları vardır -- tam şema için apify.com/store adresini kontrol edin.
  • limit -- döndürülecek en fazla öğe
  • offset -- sayfalandırma için öğeleri atla
  • format -- json (varsayılan), csv, jsonl, html, xlsx, xml
  • timeout -- çalıştırma zaman aşımı (saniye cinsinden)
  • waitForFinish -- maksimum bekleme süresi (0-300 saniye)
  • fields -- dahil edilecek alanların virgülle ayrılmış listesi
  • omit -- hariç tutulacak alanların virgülle ayrılmış listesi

Örnek istem: "Google Places scraper'ını 'New York'taki restoranlar' için çalıştırın ve ilk 50 sonucu döndürün"


2. Bir Actor'ü Asenkron Olarak Çalıştırın

Tamamlanmasını beklemeden bir Actor çalıştırması tetikleyin. Uzun süren scraping işleri için kullanın.

Tool: APIFY_RUN_ACTOR

Temel parametreler:

  • actorId (gerekli) -- Actor slug veya ID
  • body -- Actor için JSON input nesnesi
  • memory -- MB cinsinden bellek sınırı (2'nin kuvveti olmalı, minimum 128)
  • timeout -- çalıştırma zaman aşımı (saniye cinsinden)
  • maxItems -- döndürülen öğelerin üst sınırı
  • build -- spesifik build etiketi (örn., latest, beta)

Çalıştırmanın datasetId adresini kullanarak sonuçları almak için APIFY_GET_DATASET_ITEMS ile devam edin.

Örnek istem: "Web scraper Actor'ünü example.com için 1024MB bellek ile asenkron olarak başlatın"


3. Veri Set Öğelerini Alın

Sayfalandırma, alan seçimi ve filtreleme ile belirli bir veri setinden veri alın.

Tool: APIFY_GET_DATASET_ITEMS

Temel parametreler:

  • datasetId (gerekli) -- veri seti tanımlayıcısı
  • limit (varsayılan/maks 1000) -- sayfa başına öğe sayısı
  • offset (varsayılan 0) -- sayfalandırma ofseti
  • format -- json (önerilir), csv, xlsx
  • fields -- yalnızca spesifik alanları dahil et
  • omit -- spesifik alanları hariç tut
  • clean -- Apify'a özgü meta verileri kaldır
  • desc -- ters sıra (en yeni ilk)

Örnek istem: "myDatasetId veri setinden ilk 500 öğeyi JSON formatında al"


4. Actor Detaylarını İnceleyin

Çalıştırmadan önce Actor meta verilerini, input şemasını ve konfigürasyonunu görüntüleyin.

Tool: APIFY_GET_ACTOR

Temel parametreler:

  • actorId (gerekli) -- username/actor-name formatında veya hex ID olarak Actor ID

Örnek istem: "apify/web-scraper Actor'ünün detaylarını ve input şemasını göster"


5. Yeniden Kullanılabilir Görevler Oluşturun

Yinelenen scraping işleri için önceden ayarlanmış inputlarla yeniden kullanılabilir Actor görevleri yapılandırın.

Tool: APIFY_CREATE_TASK

Bir görevi bir kez yapılandırın, ardından tutarlı input parametreleriyle tekrar tekrar tetikleyin. Planlı veya yinelenen veri toplama iş akışları için kullanışlıdır.

Örnek istem: "Google Search scraper'ı için varsayılan sorgu 'AI startups' ve ABD konumu ile bir Apify görevi oluşturun"


6. Çalıştırmaları ve Veri Setlerini Yönetin

Actor çalıştırmalarını listeleyin, veri setlerine göz atın ve izleme ile hata ayıklama için çalıştırma detaylarını inceleyin.

Tools: APIFY_GET_LIST_OF_RUNS, APIFY_DATASETS_GET, APIFY_DATASET_GET, APIFY_GET_LOG

Çalıştırmaları listelemek için:

  • Actor'e göre ve isteğe bağlı olarak duruma göre filtrele
  • Veri alımı için çalıştırma detaylarından datasetId al

Veri seti yönetimi için:

  • APIFY_DATASETS_GET -- tüm veri setlerinizi sayfalandırma ile listele
  • APIFY_DATASET_GET -- belirli bir veri seti için meta veri al

Hata ayıklama için:

  • APIFY_GET_LOG -- bir çalıştırma veya build için yürütme günlüklerini al

Örnek istem: "Web scraper Actor'ü için son 10 çalıştırmayı listeleyin ve en son olanın günlüklerini gösterin"


Bilinen Sorunlar

  • Actor input şemaları çok değişkendir: Her Actor'ün kendine özgü input alanları vardır. queries veya search_terms gibi genel alan adları reddedilecektir. Tam alan adları için her zaman apify.com/store adresinde Actor'ün sayfasını kontrol edin (örn., Google Maps için searchStringsArray, web scrapers için startUrls).
  • URL format gereksinimleri: URL'lerde her zaman tam protokolü (https:// veya http://) dahil edin. Birçok Actor, URL'leri bir url özelliğine sahip nesneler olarak gerektirir: {"startUrls": [{"url": "https://example.com"}]}.
  • Veri seti sayfalandırma sınırı: APIFY_GET_DATASET_ITEMS çağrı başına maksimum limit 1000'e sahiptir. Büyük veri setleri için tüm öğeleri toplamak amacıyla offset ile döngü oluşturun.
  • Enum değerleri küçük harftir: Çoğu Actor, küçük harf enum değerleri bekler (örn., relevance değil RELEVANCE, all değil ALL).
  • Senkron zaman aşımı 5 dakikada: APIFY_RUN_ACTOR_SYNC_GET_DATASET_ITEMS maksimum waitForFinish 300 saniyedir. Daha uzun çalıştırmalar için APIFY_RUN_ACTOR (asenkron) kullanın ve APIFY_GET_DATASET_ITEMS ile yoklayın.
  • Veri hacmi maliyetleri: Büyük veri setleri almak pahalı olabilir. Zaman aşımları veya bellek baskısını önlemek için orta seviye sınırları ve kademeli işlemeyi tercih edin.
  • JSON format önerilir: CSV/XLSX formatları mevcut olsa da, JSON otomatik işleme için en güvenilir olandır. Aşağı akış otomasyonu için CSV/XLSX'ten kaçının.

Hızlı Başvuru

Tool Slug Açıklama
APIFY_RUN_ACTOR_SYNC_GET_DATASET_ITEMS Actor'ü senkron olarak çalıştırın ve sonuçları hemen alın
APIFY_RUN_ACTOR Actor'ü asenkron olarak çalıştırın (tetikle ve dön)
APIFY_RUN_ACTOR_SYNC Actor'ü senkron olarak çalıştırın, output kaydını döndürün
APIFY_GET_ACTOR Actor meta verilerini ve input şemasını al
APIFY_GET_DATASET_ITEMS Veri setinden öğeleri al (sayfalandırmalı)
APIFY_DATASET_GET Veri seti meta verilerini al (öğe sayısı vb.)
APIFY_DATASETS_GET Tüm kullanıcı veri setlerini listele
APIFY_CREATE_TASK Yeniden kullanılabilir bir Actor görevi oluştur
APIFY_GET_TASK_INPUT Bir görevin depolanmış inputunu incele
APIFY_GET_LIST_OF_RUNS Bir Actor için çalıştırmaları listele
APIFY_GET_LOG Bir çalıştırma için yürütme günlüklerini al

Composio tarafından desteklenmektedir

Benzer skill'ler

Daha fazla: Development →