@just-every/mcp-read-website-fast

AI ajanları için hızlı, token-verimli web içeriği çıkarma - web sitelerini temiz Markdown'a dönüştürür.

Genel Bakış

Mevcut MCP web tarayıcıları yavaş ve çok miktarda token tüketir. Bu, geliştirme sürecini duraklatır ve LLM'lerin tüm web sayfalarını ayrıştırması gerektiğinden eksik sonuçlar sağlar.

Bu MCP paketi web sayfalarını yerel olarak alır, gürültüyü temizler ve bağlantıları koruyarak içeriği temiz Markdown'a dönüştürür. Claude Code, IDE'ler ve minimal token kullanımı olan LLM pipelines için tasarlanmıştır. Minimum bağımlılıkla siteleri yerel olarak tarayın.

Not: Bu paket, temel tarama ve markdown dönüştürme işlevleri için @just-every/crawl kullanır.

Özellikler

• Hızlı başlangıç, optimal performans için lazy loading ile resmi MCP SDK'sı kullanarak
• İçerik çıkarma, Mozilla Readability kullanarak (Firefox Reader View ile aynı)
• HTML'den Markdown'a dönüştürme, Turndown + GFM desteği ile
• Akıllı önbellekleme, SHA-256 hash URL'leri ile
• Nazik tarama, robots.txt desteği ve hız sınırlandırması ile
• Eş zamanlı alma, yapılandırılabilir derinlik taraması ile
• Stream-first tasarım, düşük bellek kullanımı için
• Bağlantı koruması, bilgi grafikleri için
• İsteğe bağlı parçalama, aşağı akış işlenmesi için

Kurulum

Claude Code

claude mcp add read-website-fast -s user -- npx -y @just-every/mcp-read-website-fast

VS Code

code --add-mcp '{"name":"read-website-fast","command":"npx","args":["-y","@just-every/mcp-read-website-fast"]}'

Cursor

cursor://anysphere.cursor-deeplink/mcp/install?name=read-website-fast&config=eyJyZWFkLXdlYnNpdGUtZmFzdCI6eyJjb21tYW5kIjoibnB4IiwiYXJncyI6WyIteSIsIkBqdXN0LWV2ZXJ5L21jcC1yZWFkLXdlYnNpdGUtZmFzdCJdfX0=

JetBrains IDE'leri

Ayarlar → Araçlar → AI Asistanı → Model Context Protocol (MCP) → Ekle

"JSON Olarak" seçin ve yapıştırın:

{"command":"npx","args":["-y","@just-every/mcp-read-website-fast"]}

Veya chat penceresinde /add yazın ve aynı JSON'u doldurun—her iki yol da server'ı tek adımda kurar. 

Raw JSON (herhangi bir MCP client'inde çalışır)

{
  "mcpServers": {
    "read-website-fast": {
      "command": "npx",
      "args": ["-y", "@just-every/mcp-read-website-fast"]
    }
  }
}

Bunu client'inizin mcp.json dosyasına bırakın (örn. .vscode/mcp.json, ~/.cursor/mcp.json, veya Claude için .mcp.json).

Özellikler

• Hızlı başlangıç, optimal performans için lazy loading ile resmi MCP SDK'sı kullanarak
• İçerik çıkarma, Mozilla Readability kullanarak (Firefox Reader View ile aynı)
• HTML'den Markdown'a dönüştürme, Turndown + GFM desteği ile
• Akıllı önbellekleme, SHA-256 hash URL'leri ile
• Nazik tarama, robots.txt desteği ve hız sınırlandırması ile
• Eş zamanlı alma, yapılandırılabilir derinlik taraması ile
• Stream-first tasarım, düşük bellek kullanımı için
• Bağlantı koruması, bilgi grafikleri için
• İsteğe bağlı parçalama, aşağı akış işlenmesi için

Mevcut Araçlar

• read_website - Bir web sayfasını alır ve temiz markdown'a dönüştürür
  • Parametreler:
    • url (gerekli): Alınacak HTTP/HTTPS URL'si
    • pages (isteğe bağlı): Taranacak maksimum sayfa sayısı (varsayılan: 1, maksimum: 100)

Mevcut Kaynaklar

• read-website-fast://status - Önbellek istatistiklerini al
• read-website-fast://clear-cache - Önbellek dizinini temizle

Geliştirme Kullanımı

Kurulum

npm install
npm run build

Tek sayfa alımı

npm run dev fetch https://example.com/article

Derinlik ile tarama

npm run dev fetch https://example.com --depth 2 --concurrency 5

Çıktı formatları

# Yalnız Markdown (varsayılan)
npm run dev fetch https://example.com

# Metadata ile JSON çıktısı
npm run dev fetch https://example.com --output json

# Hem URL hem de markdown
npm run dev fetch https://example.com --output both

CLI Seçenekleri

• -p, --pages <number> - Taranacak maksimum sayfa sayısı (varsayılan: 1)
• -c, --concurrency <number> - Maksimum eş zamanlı istekler (varsayılan: 3)
• --no-robots - robots.txt'i yoksay
• --all-origins - Cross-origin taramaya izin ver
• -u, --user-agent <string> - Özel user agent
• --cache-dir <path> - Önbellek dizini (varsayılan: .cache)
• -t, --timeout <ms> - İstek zaman aşımı (varsayılan: 30000)
• -o, --output <format> - Çıktı formatı: json, markdown, veya both (varsayılan: markdown)

Önbelleği temizle

npm run dev clear-cache

Otomatik Yeniden Başlatma Özelliği

MCP server, geliştirilmiş güvenilirlik için varsayılan olarak otomatik yeniden başlatma yeteneği içerir:

• Server çöküp çökmediğinde otomatik olarak yeniden başlatır
• İşlenmeyen istisnalar ve promise reddini işler
• Üstel geri alma uygular (1 dakika içinde maksimum 10 deneme)
• Tüm yeniden başlatma denemelerini günlüğe kaydeder
• Kapatma sinyallerini (SIGINT, SIGTERM) zarif bir şekilde işler

Otomatik yeniden başlatma olmadan geliştirme/hata ayıklama için:

# Yeniden başlatma sarmalayıcısı olmadan doğrudan çalıştır
npm run serve:dev

Mimari

mcp/
├── src/
│   ├── crawler/        # URL alma, kuyruk yönetimi, robots.txt
│   ├── parser/         # DOM ayrıştırma, Readability, Turndown dönüştürme
│   ├── cache/          # SHA-256 anahtarlarıyla disk tabanlı önbellekleme
│   ├── utils/          # Logger, chunker yardımcı programları
│   ├── index.ts        # CLI giriş noktası
│   ├── serve.ts        # MCP server giriş noktası
│   └── serve-restart.ts # Otomatik yeniden başlatma sarmalayıcısı

Geliştirme

# Geliştirme modunda çalıştır
npm run dev fetch https://example.com

# Production için derle
npm run build

# Testleri çalıştır
npm test

# Tür kontrol
npm run typecheck

# Linting
npm run lint

Katkıda Bulunma

Katkılar hoş karşılanır! Lütfen:

1. Repository'yi fork edin
2. Bir feature branch oluşturun
3. Yeni işlevsellik için testler ekleyin
4. Pull request gönderin

Sorun Giderme

Önbellek Sorunları

npm run dev clear-cache

Zaman Aşımı Hataları

• -t bayrağı ile zaman aşımını artırın
• Ağ bağlantısını kontrol edin
• URL'nin erişilebilir olduğunu doğrulayın

İçerik Çıkarılamadı

• Bazı siteler otomatik erişimi engeller
• -u bayrağı ile özel user agent deneyin
• Sitenin JavaScript gerektirip gerektirmediğini kontrol edin (desteklenmez)

Lisans

MIT