Glossar R

Robots

Robots, auch Spider oder Crawler genannt, sind(im SEO Sinne) Programme der Suchmaschinenprovider die das Internet bzw. Webseiten durchsuchen und den gefundenen Inhalt in speziellen Datenbanken speichern. Erste Anlaufstelle für einen Robot ist die Datei robots.txt, die Instruktionen für ihn bereithält. Beispielsweise kann man den Zugriff des Robots beschränken, Ordner und Dateien sperren.

 

Robots können aber auch anderweitig zum Einsatz kommen, z.B. zum Sammeln sensibler Daten, wie Adressen oder Kontaktdaten.

» zurück