AI Bots en Fail2ban op Plesk-servers

Waarom sommige AI bots geblokkeerd worden

Op onze Plesk-servers maken we gebruik van Fail2ban om ongewenst verkeer te weren en de veiligheid van websites te waarborgen. Een van de standaardfilters die Plesk toepast is de Apache-bad-bots filter. Dit filter is afkomstig uit een opensource project en bevat een lijst van veelvoorkomende bots die als ongewenst worden beschouwd of bekend staan veel load op sites te genereren tijdens het crawlen.

Een voorbeeld hiervan is GPTBot, de crawler van OpenAI (ChatGPT). Deze bot wordt standaard geblokkeerd door het Apache-bad-bots filter, wat betekent dat websites op onze Plesk-servers mogelijk niet geïndexeerd worden door bepaalde AI-diensten.

Wat betekent dit voor jouw website?

In de praktijk kan dit ertoe leiden dat AI-diensten zoals ChatGPT geen toegang krijgen tot jouw website, waardoor content niet wordt geïndexeerd of gebruikt in AI-modellen. Sommige klanten vinden dit juist wenselijk, terwijl anderen hier bewust wél gebruik van willen maken.

Wat kun je doen?

Wil je dat jouw website wél toegankelijk is voor AI bots zoals GPTBot? Neem dan contact op met onze supportafdeling. We kunnen dan samen bekijken of het mogelijk is om specifieke bots toe te staan voor jouw website.

Meer informatie

Voor meer technische details over hoe Fail2ban werkt op Plesk-servers, kun je terecht in de officiële Plesk-documentatie:

• Fail2ban bescherming op Linux (Plesk)

Samenvatting

• Savvii gebruikt de standaard Apache-bad-bots filter van Plesk in Fail2ban.
• Deze filter blokkeert o.a. GPTBot en andere (AI) bots.
• Wil je wél geïndexeerd worden door specifieke AI bots? Neem contact op met support.