Ein Crawler ist ein autonom agierendes Computerprogramm welches Webseiten analysiert und indexiert. Der bekannteste unter Ihnen ist der Googlebot. Dieser "crawlt" (durchsucht) täglich Milliarden von Webseiten. Weitere Bezeichnungen für solche Programme sind Bot, Spider oder Robot. Der Googlebot verwendet einen geheimen Algorythmus, welcher bestimmt, welche Websites wann und wie oft durchsucht werden und wie viele Seiten von jeder Website abgerufen werden.