Bulk Domain Datasets
Das ganze Internet auf Ihrer Festplatte. Für Projekte, bei denen API-Limits keine Option sind.
Use Cases für Bulk Data
APIs sind großartig für transaktionale Abfragen ("Check diesen einen Händler"). Aber wenn Sie ein globales Statistik-Modell trainieren (Machine Learning), Marktanteils-Analysen fahren ("Wie viele Domains nutzen WordPress?") oder Cyber-Forensik betreiben wollen, brauchen Sie das gesamte Dataset lokal. Bulk Datasets eliminieren Netzwerk-Latenz und Rate Limits.
Lieferung & Frequenz
Wir generieren neue Snapshots jeden Tag um 00:00 UTC. Kunden erhalten Zugang via:
- HTTPS Download: Gesicherter Bereich im Kundenportal.
- SFTP: Automatisierte Abholung durch Ihre Skripte.
- AWS S3 / Google Cloud Storage: Wir pushen die Dateien direkt in Ihre Buckets (nur Enterprise).
File Specs & Kompression
Angesichts der Größe (350+ Millionen Records) sind Effizienz und Kompression entscheidend. Wir liefern standardmäßig GZIP komprimierte Dateien. Dateigrößen liegen typischerweise im Bereich von 20GB - 50GB (komprimiert) für die kompletten Whois-Datenbanken. Um das Handling zu erleichtern, splitten wir Dateien optional in 1GB Chunks.
Delta Files (Inkrementelle Updates)
Jeden Tag das volle 50GB File herunterzuladen und zu verarbeiten, ist teuer (Bandbreite & Compute). Deshalb bieten wir Delta Files an. Diese enthalten nur die Änderungen seit gestern (neue Domains, gelöschte Domains, geänderte Records). Dies reduziert das tägliche Volumen oft auf wenige 100MB und ermöglicht extrem effiziente "Merge"-Pipelines in Ihrer Datenbank.