Crawler sind Programme, die das Internet automatisch nach verfügbaren Daten absuchen. Die gefundenen Daten werden je nach Programm analysiert und verarbeitet. Suchmaschinen verwenden Crawler, auch Bots oder Spider genannt, um die Inhalte nach bestimmten Kriterien zu analysieren. Daraus ergibt sich das Suchmaschinen-Ranking, also an welcher Stelle Ihre Website in der Suchmaschine aufgelistet wird. Hilfreich sind unter anderem eine gute
Suchmaschinen-Optimierung (SEO) und
strukturierte Daten.
