Search & Data Extraction TypeScript ★ 162

scrapeless-ai/scrapeless-mcp-server

Scrapeless Model Context Protocol servisi, Google SERP API'ye bağlanan bir MCP server connector görevi görerek MCP ekosistemi içinde web araması yapılmasını sağlar. Bu sayede başka bir platforma geçmenize gerek kalmaz.

Claude Desktop config.json'a ekle

{
  "mcpServers": {
    "scrapeless-ai-scrapeless-mcp-server": {
      "command": "node",
      "args": [
        "~/.mcp/scrapeless-mcp-server/index.js"
      ]
    }
  }
}

preview

Scrapeless MCP Server

Scrapeless Model Context Protocol (MCP) Server'e hoş geldiniz — LLM'lerin, AI Ajanlarının ve AI uygulamalarının gerçek zamanlı olarak web ile etkileşim kurmasını sağlayan güçlü bir entegrasyon katmanı.

Açık MCP standardı üzerine inşa edilen Scrapeless MCP Server, ChatGPT, Claude gibi modelleri ve Cursor, Windsurf gibi araçları geniş bir dış kaynak yelpazesine sorunsuzca bağlar; bunlar şunları içerir:

  • Google hizmetleri entegrasyonu (Arama, Trends)
  • Tarayıcı otomasyonu — sayfa düzeyinde navigasyon ve etkileşim için
  • Web kazıma — dinamik, JS-ağır siteleri HTML, Markdown veya ekran görüntüleri olarak dışa aktarın

İster bir AI araştırma asistanı, ister bir kodlama copilotu veya özerk web ajanları inşa ediyor olun, bu sunucu iş akışlarınızın ihtiyaç duyduğu dinamik bağlamı ve gerçek dünya verilerini sağlar — engellenmeden.

Kullanım Örnekleri

  1. Claude ile Otomatik Web Etkileşimi ve Veri Çıkarma

Scrapeless MCP Browser kullanarak, Claude konuşma komutları aracılığıyla web navigasyonu, tıklama, kaydırma ve kazıma gibi karmaşık görevleri gerçekleştirebilir; live sessions aracılığıyla web etkileşimi sonuçlarının gerçek zamanlı önizlemesi mevcuttur.

preview

  1. Cloudflare'i Aşarak Hedef Sayfa İçeriğini Alma

Scrapeless MCP Browser hizmetini kullanarak, Cloudflare sayfasına otomatik olarak erişilir ve işlem tamamlandıktan sonra sayfa içeriği çıkarılarak Markdown formatında döndürülür.

preview

  1. Dinamik Olarak Oluşturulan Sayfa İçeriğini Çıkarma ve Dosyaya Yazma

Scrapeless MCP Universal API kullanarak, yukarıdaki hedef sayfanın JavaScript ile oluşturulan içeriği kazınır, Markdown formatında dışa aktarılır ve sonunda text.md adlı yerel bir dosyaya yazılır.

preview

  1. Otomatik SERP Kazıma

Scrapeless MCP Server kullanarak, Google Arama'da "web scraping" anahtar kelimesini sorgulayın, ilk 10 arama sonucunu alın (başlık, bağlantı ve özet dahil) ve içeriği serp.text adlı dosyaya yazın.

preview

Bu sunucuları nasıl kullanacağınıza ilişkin ek örnekler:

Örnek
Google arama ile scrapeless'i arayın.
Son bir yılda "AI" için arama ilgisini bulun.
chatgpt.com adresini ziyaret etmek için bir tarayıcı kullanın, "Bugün hava nasıl?" arayın ve sonuçları özetleyin.
scrapeless.com sayfasının HTML içeriğini kazıyın.
scrapeless.com sayfasının Markdown içeriğini kazıyın.
scrapeless.com ekran görüntülerini alın.

Kurulum Kılavuzu

  1. Scrapeless Anahtarı Alın
  • Scrapeless Paneline giriş yapın (Ücretsiz deneme mevcuttur)
  • Ardından sol tarafta "Setting" seçeneğine tıklayın -> "API Key Management" seçeneğini seçin -> "Create API Key" seçeneğine tıklayın. Son olarak, oluşturduğunuz API Anahtarı'na tıklayarak kopyalayın.

preview

  1. MCP İstemcinizi Yapılandırın

Scrapeless MCP Server hem Stdio hem de Streamable HTTP taşıma modlarını destekler.

🖥️ Stdio (Yerel Yürütme)

{
  "mcpServers": {
    "Scrapeless MCP Server": {
      "command": "npx",
      "args": ["-y", "scrapeless-mcp-server"],
      "env": {
        "SCRAPELESS_KEY": "YOUR_SCRAPELESS_KEY"
      }
    }
  }
}

🌐 Streamable HTTP (Barındırılan API Modu)

{
  "mcpServers": {
    "Scrapeless MCP Server": {
      "type": "streamable-http",
      "url": "https://api.scrapeless.com/mcp",
      "headers": {
        "x-api-token": "YOUR_SCRAPELESS_KEY"
      },
      "disabled": false,
      "alwaysAllow": []
    }
  }
}

Gelişmiş Seçenekler

Tarayıcı oturumu davranışını isteğe bağlı parametrelerle özelleştirin. Bunlar ortam değişkenleri (Stdio için) veya HTTP başlıkları (Streamable HTTP için) aracılığıyla ayarlanabilir:

Stdio (Env Var) Streamable HTTP (HTTP Header) Açıklama
BROWSER_PROFILE_ID x-browser-profile-id Oturum sürekliliği için yeniden kullanılabilir bir tarayıcı profili kimliğini belirtir.
BROWSER_PROFILE_PERSIST x-browser-profile-persist Çerezler, yerel depolama vb. için kalıcı depolamayı etkinleştirir.
BROWSER_SESSION_TTL x-browser-session-ttl Saniye cinsinden maksimum oturum zaman aşımını tanımlar. Oturum, bu etkinlik süresi sonra otomatik olarak sona erer.

Claude Desktop ile Entegrasyon

  1. Claude Desktop'ı açın
  2. Şuraya gidin: SettingsToolsMCP Servers
  3. "Add MCP Server" seçeneğine tıklayın
  4. Yukarıdaki Stdio veya Streamable HTTP yapılandırmasını yapıştırın
  5. Kaydedin ve sunucuyu etkinleştirin
  6. Claude artık Scrapeless kullanarak web sorguları yapabilir, içerik çıkarabilir ve sayfalarla etkileşim kurabilir

Cursor IDE ile Entegrasyon

  1. Cursor'ı açın
  2. Cmd + Shift + P tuşlarına basın ve şu şekilde arayın: Configure MCP Servers
  3. Scrapeless MCP yapılandırmasını yukarıdaki formatı kullanarak ekleyin
  4. Dosyayı kaydedin ve Cursor'ı yeniden başlatın (gerekirse)
  5. Şimdi Cursor'a şunlar gibi sorular sorabilirsiniz:
    1. "Bu hatanın çözümü için StackOverflow'da arama yap"
    2. "Bu sayfanın HTML'sini kazı"
  6. Arka planda Scrapeless'i kullanacaktır.

Desteklenen MCP Araçları

Ad Açıklama
google_search Evrensel bilgi arama motoru.
google_trends Google Trends'ten trend arama verilerini alın.
browser_create Scrapeless kullanarak bir bulut tarayıcı oturumu oluşturun veya yeniden kullanın.
browser_close Bulut tarayıcısını keserek mevcut oturumu kapatın.
browser_goto Tarayıcıyı belirtilen bir URL'ye yönlendirin.
browser_go_back Tarayıcı geçmişinde bir adım geri gidin.
browser_go_forward Tarayıcı geçmişinde bir adım ileri gidin.
browser_click Sayfada belirli bir öğeyi tıklayın.
browser_type Belirtilen bir giriş alanına metin yazın.
browser_press_key Tuş basışını simüle edin.
browser_wait_for Belirli bir sayfa öğesinin görünmesini bekleyin.
browser_wait Belirli bir süre boyunca yürütmeyi duraklatın.
browser_screenshot Mevcut sayfanın ekran görüntüsünü alın.
browser_get_html Mevcut sayfanın tam HTML'sini alın.
browser_get_text Mevcut sayfadaki tüm görünür metni alın.
browser_scroll Sayfanın sonuna kaydırın.
browser_scroll_to Belirli bir öğeyi görünüme kaydırın.
scrape_html Bir URL'yi kazıyın ve tam HTML içeriğini döndürün.
scrape_markdown Bir URL'yi kazıyın ve içeriğini Markdown olarak döndürün.
scrape_screenshot Herhangi bir web sayfasının yüksek kaliteli ekran görüntüsünü alın.

Güvenlik En İyi Uygulamaları

Scrapeless MCP Server'ı LLM'lerle (ChatGPT, Claude veya Cursor gibi) kullanırken, kazınan veya çıkarılan tüm web içeriğini dikkatli bir şekilde ele almak kritiktir. Web verileri varsayılan olarak güvenilmezdir ve uygun olmayan işlem, uygulamanızı prompt enjeksiyonu veya diğer güvenlik açıklarına maruz bırakabilir.

✅ Önerilen Uygulamalar

  • Ham kazınmış içeriği asla doğrudan LLM istemlerine geçirmeyin. Ham HTML, JavaScript veya kullanıcı tarafından oluşturulan metin gizli enjeksiyon yükü içerebilir.
  • Çıkarılan tüm içeriği temizleyin ve doğrulayın. Zararlı olabilecek etiketleri ve komut dosyalarını, içeriği akış aşağı mantığında veya AI modellerinde kullanmadan önce çıkarın veya kaçırın.
  • Serbest biçimli metin yerine yapılandırılmış çıkarmayı tercih edin. Yalnızca güvendiğiniz içeriği çıkarmak için scrape_html, scrape_markdown veya hedeflenen browser_get_text öğelerini bilinen güvenli seçicilerle kullanın.
  • Dinamik olarak oluşturulan sayfaları kazırken alan adı veya seçici beyaz listesi uygulayın, veri akışını bilinen ve güvenilir kaynaklarla sınırlamak için.
  • Yapılan tüm giden istekleri günlüğe kaydedin ve izleyin tarayıcı veya kazıma araçları aracılığıyla, özellikle hassas veriler, tokenler veya dahili ağ erişimi işliyorsanız.

🚫 Kaçının

  • Kazınan HTML'yi doğrudan istemler içine enjekte etmek
  • Kullanıcıların doğrulama olmaksızın rastgele URL'ler veya CSS seçicileri belirtmesine izin vermek
  • Gelecekteki istem kullanımı için filtrelenmemiş kazınmış içeriği depolamak

Topluluk

Bize Ulaşın

Sorular, öneriler veya işbirliği talepleri için aşağıdaki yollardan bize ulaşmaktan çekinmeyin:

Benzer MCP sunucuları

Daha fazla: Search & Data Extraction →