Roboter Erkennung

Ein neues Skript wurde in Betrieb genommen, das zusätzlich die Webcrawler über den Zugriff auf die „robots.txt“ ermittelt.