Auf eigenen Webseiten habe ich festgestellt, dass oft KI-Crawler ein großes Problem sind. Mit Anubis bspw lassen sich einige aber recht einfach blocken.
Wer als Webserver Apache nutzt, kann auch die Firewall von https://perishablepress.com/ nutzen:
https://perishablepress.com/8g-firewall/
Diese enthält auch ein Snippet speziell für KI-Bots, wirkt aber auch sehr gut gegen alle gängigen Angriffe und dummen Bots.
Wenn man diese noch mit https://perishablepress.com/blackhole-bad-bots/ kombiniert, schreibt Deine Website die IP-Blocking list selbst und erspart dem Admin Arbeit.
Ist übrigens Open Source und gratis.
Wer den Autor dieser Software unterstützen möchte, kann das durch Kauf seiner Bücher tun oder seine Website weiterempfehlen.
Er nutzt zwar selbst WordPress für seine Website und schreibt Bücher und Software-Plugins darüber, aber o. g. Firewall läuft ohne WordPress einfach via .htaccess-Datei und „Das schwarze Loch für böse Bots” ist in PHP geschrieben und kann leicht in die eigene Website integriert und auch modifiziert werden.
Würde auch einigen Foren gut tun. ![]()