Richiedi Consulenza GratuitaUn crawler (detto anche spider o robot), è un particolare tool, un programma o script che automatizza delle operazioni, utilizzato dai motori di ricerca per analizzare i codici sorgente e quindi i contenuti di una rete o di un database, seguendo precisi algoritmi realizzati dai principali motori di ricerca, algoritmi che sono in continua evoluzione per poter fornire sempre le migliori risposte alle interrogazioni degli utenti.
Nell'avvio di azioni per l'indicizzazione di un sito web, il crawler si basa su una lista di URL da visitare fornita dal motore di ricerca stesso, analizzando la quale verranno identificati tutti i collegamenti nel documento non presenti nella lista, robots.txt, fornita all'interno della root del sito. In questo modo sarà possibile suggerire al crawler di non prelevare i contenuti di determinate pagine, tenendo presente che ciò però non esclude che il tool effettui lo stesso un controllo.
Iscriviti a questo Blog!
