Alternatives à Common Crawl
6 outils du catalogue couvrent le même usage que Common Crawl et peuvent le remplacer selon le besoin. Chacun est joignable et revérifié chaque jour, avec sa tarification indiquée.
- Archive.isgratuitService d'instantanés Web à la demande qui préserve les copies ponctuelles des pages et raccourcit les liens d'archives.
- Cached PagesgratuitUtilitaire de recherche de cache Web qui fait apparaître les versions archivées et mises en cache d'une page cible à partir de plusieurs sources.
- Cached View (.com)gratuitService simple de vérification du cache qui récupère des copies de pages à partir des caches des moteurs de recherche et des archives.
- Waybackpack (T)gratuitOutil de ligne de commande pour le téléchargement en masse de captures archivées à partir d'Internet Archive Wayback Machine.
- Waybackpy (T)gratuitBibliothèque Python et CLI pour interagir avec l'API de la Wayback Machine : sauvegarder pages, récupérer snapshots, lister enregistrements CDX par programmation.
- Web Archive-RUgratuitService régional d'archivage Web axé sur la préservation et la navigation d'instantanés de sites Web sélectionnés.
Common Crawl
Archives
Aussi écrit CommonCrawl
Référentiel ouvert de données d'exploration du Web à grande échelle publiées sous forme d'ensembles de données WARC mensuels.
USAGE RECOMMANDÉ
Exploration de contenu Web historique et analyse de corpus à grande échelle
Informations
Tutoriels vidéo
Apprenez à utiliser Common Crawl
Workflow suggéré
Enchaîner les outils dans cet ordre pour une investigation complète
Outils similaires
Ces outils peuvent aussi vous aider
Stanford Large Network Dataset Collection
ArchivesRéférentiel SNAP d'ensembles de données graphiques/réseaux couvrant les réseaux sociaux, les graphiques Web et les systèmes de communication.
UCI Spambase Data Set
ArchivesEnsemble de données d'apprentissage automatique UCI classique pour la classification du spam et l'analyse des fonctionnalités de messagerie.
Domaincrawler.com
Domain NameBase de données de domaines d'entreprise couvrant plus de 1,4 milliard de domaines enregistrés et non enregistrés avec plus de 80 milliards d'enregistrements historiques depuis 2008. Utilisée par les professionnels de la protection des marques et de l'OSINT.
Hive AI Generated Content Detection
AI ToolsAPI de détection de contenu IA de niveau entreprise de Hive Moderation qui détecte le texte, les images et les vidéos générés par l'IA à grande échelle.
Avis utilisateurs
Soyez le premier à laisser un avis