Apify ile web scraping ve veri çıkarmayı otomatikleştirin -- Composio Apify entegrasyonu aracılığıyla Actor'ları çalıştırın, dataset'leri yönetin, yeniden kullanılabilir görevler oluşturun ve crawl sonuçlarını alın.
cd ~/.claude/skills
git clone https://github.com/ComposioHQ/awesome-claude-skills.git awesome-claude-skills mkdir -p ~/.claude/skills/Apify Automation
curl -fsSL https://raw.githubusercontent.com/ComposioHQ/awesome-claude-skills/HEAD/composio-skills/apify-automation/SKILL.md \
-o ~/.claude/skills/Apify Automation/SKILL.md Apify web scraping Actors'ını çalıştırın ve veri setlerini Claude Code'dan doğrudan yönetin. Crawlers'ı senkron veya asenkron olarak çalıştırın, yapılandırılmış veriler alın, yeniden kullanılabilir görevler oluşturun ve terminalinizi terk etmeden çalıştırma günlüklerini inceleyin.
Toolkit dokümantasyonu: composio.dev/toolkits/apify
https://rube.app/mcp
Bir Actor'ü çalıştırın ve veri set öğelerini hemen tek bir çağrıda alın. Hızlı scraping işleri için idealdir.
Tool: APIFY_RUN_ACTOR_SYNC_GET_DATASET_ITEMS
Temel parametreler:
actorId (gerekli) -- username/actor-name formatında Actor ID (örn., compass/crawler-google-places)input -- Actor'ün şemasıyla eşleşen JSON input nesnesi. Her Actor'ün benzersiz alan adları vardır -- tam şema için apify.com/store adresini kontrol edin.limit -- döndürülecek en fazla öğeoffset -- sayfalandırma için öğeleri atlaformat -- json (varsayılan), csv, jsonl, html, xlsx, xmltimeout -- çalıştırma zaman aşımı (saniye cinsinden)waitForFinish -- maksimum bekleme süresi (0-300 saniye)fields -- dahil edilecek alanların virgülle ayrılmış listesiomit -- hariç tutulacak alanların virgülle ayrılmış listesiÖrnek istem: "Google Places scraper'ını 'New York'taki restoranlar' için çalıştırın ve ilk 50 sonucu döndürün"
Tamamlanmasını beklemeden bir Actor çalıştırması tetikleyin. Uzun süren scraping işleri için kullanın.
Tool: APIFY_RUN_ACTOR
Temel parametreler:
actorId (gerekli) -- Actor slug veya IDbody -- Actor için JSON input nesnesimemory -- MB cinsinden bellek sınırı (2'nin kuvveti olmalı, minimum 128)timeout -- çalıştırma zaman aşımı (saniye cinsinden)maxItems -- döndürülen öğelerin üst sınırıbuild -- spesifik build etiketi (örn., latest, beta)Çalıştırmanın datasetId adresini kullanarak sonuçları almak için APIFY_GET_DATASET_ITEMS ile devam edin.
Örnek istem: "Web scraper Actor'ünü example.com için 1024MB bellek ile asenkron olarak başlatın"
Sayfalandırma, alan seçimi ve filtreleme ile belirli bir veri setinden veri alın.
Tool: APIFY_GET_DATASET_ITEMS
Temel parametreler:
datasetId (gerekli) -- veri seti tanımlayıcısılimit (varsayılan/maks 1000) -- sayfa başına öğe sayısıoffset (varsayılan 0) -- sayfalandırma ofsetiformat -- json (önerilir), csv, xlsxfields -- yalnızca spesifik alanları dahil etomit -- spesifik alanları hariç tutclean -- Apify'a özgü meta verileri kaldırdesc -- ters sıra (en yeni ilk)Örnek istem: "myDatasetId veri setinden ilk 500 öğeyi JSON formatında al"
Çalıştırmadan önce Actor meta verilerini, input şemasını ve konfigürasyonunu görüntüleyin.
Tool: APIFY_GET_ACTOR
Temel parametreler:
actorId (gerekli) -- username/actor-name formatında veya hex ID olarak Actor IDÖrnek istem: "apify/web-scraper Actor'ünün detaylarını ve input şemasını göster"
Yinelenen scraping işleri için önceden ayarlanmış inputlarla yeniden kullanılabilir Actor görevleri yapılandırın.
Tool: APIFY_CREATE_TASK
Bir görevi bir kez yapılandırın, ardından tutarlı input parametreleriyle tekrar tekrar tetikleyin. Planlı veya yinelenen veri toplama iş akışları için kullanışlıdır.
Örnek istem: "Google Search scraper'ı için varsayılan sorgu 'AI startups' ve ABD konumu ile bir Apify görevi oluşturun"
Actor çalıştırmalarını listeleyin, veri setlerine göz atın ve izleme ile hata ayıklama için çalıştırma detaylarını inceleyin.
Tools: APIFY_GET_LIST_OF_RUNS, APIFY_DATASETS_GET, APIFY_DATASET_GET, APIFY_GET_LOG
Çalıştırmaları listelemek için:
datasetId alVeri seti yönetimi için:
APIFY_DATASETS_GET -- tüm veri setlerinizi sayfalandırma ile listeleAPIFY_DATASET_GET -- belirli bir veri seti için meta veri alHata ayıklama için:
APIFY_GET_LOG -- bir çalıştırma veya build için yürütme günlüklerini alÖrnek istem: "Web scraper Actor'ü için son 10 çalıştırmayı listeleyin ve en son olanın günlüklerini gösterin"
queries veya search_terms gibi genel alan adları reddedilecektir. Tam alan adları için her zaman apify.com/store adresinde Actor'ün sayfasını kontrol edin (örn., Google Maps için searchStringsArray, web scrapers için startUrls).https:// veya http://) dahil edin. Birçok Actor, URL'leri bir url özelliğine sahip nesneler olarak gerektirir: {"startUrls": [{"url": "https://example.com"}]}.APIFY_GET_DATASET_ITEMS çağrı başına maksimum limit 1000'e sahiptir. Büyük veri setleri için tüm öğeleri toplamak amacıyla offset ile döngü oluşturun.relevance değil RELEVANCE, all değil ALL).APIFY_RUN_ACTOR_SYNC_GET_DATASET_ITEMS maksimum waitForFinish 300 saniyedir. Daha uzun çalıştırmalar için APIFY_RUN_ACTOR (asenkron) kullanın ve APIFY_GET_DATASET_ITEMS ile yoklayın.| Tool Slug | Açıklama |
|---|---|
APIFY_RUN_ACTOR_SYNC_GET_DATASET_ITEMS |
Actor'ü senkron olarak çalıştırın ve sonuçları hemen alın |
APIFY_RUN_ACTOR |
Actor'ü asenkron olarak çalıştırın (tetikle ve dön) |
APIFY_RUN_ACTOR_SYNC |
Actor'ü senkron olarak çalıştırın, output kaydını döndürün |
APIFY_GET_ACTOR |
Actor meta verilerini ve input şemasını al |
APIFY_GET_DATASET_ITEMS |
Veri setinden öğeleri al (sayfalandırmalı) |
APIFY_DATASET_GET |
Veri seti meta verilerini al (öğe sayısı vb.) |
APIFY_DATASETS_GET |
Tüm kullanıcı veri setlerini listele |
APIFY_CREATE_TASK |
Yeniden kullanılabilir bir Actor görevi oluştur |
APIFY_GET_TASK_INPUT |
Bir görevin depolanmış inputunu incele |
APIFY_GET_LIST_OF_RUNS |
Bir Actor için çalıştırmaları listele |
APIFY_GET_LOG |
Bir çalıştırma için yürütme günlüklerini al |
Composio tarafından desteklenmektedir
2 veya daha fazla bağımsız görevin paralel olarak yürütülebileceği ve aralarında state paylaşımı ya da sıralı bağımlılık olmadığı durumlarda kullanın.
Ayrı bir oturumda inceleme kontrol noktaları ile yürütülecek yazılı bir uygulama planınız olduğunda kullanın.
Mevcut oturumda bağımsız görevlerle uygulama planlarını yürütürken kullanın
Herhangi bir hata, test başarısızlığı veya beklenmeyen davranışla karşılaştığınızda, çözüm önerisi sunmadan önce kullanın.
Herhangi bir feature ya da bugfix uygulamaya başlamadan önce kullanın.
Yeni beceriler oluştururken, mevcut becerileri düzenlerken veya dağıtımdan önce becerileri doğrularken kullanın.