Cloudflare laat websites AI-modeltraining blokkeren
Cloudflare heeft nieuwe functies aangekondigd waarmee websites afzonderlijk kunnen bepalen of AI-modellen de content ervan mogen gebruiken voor zoekindexering, AI-training en AI-agents. Met de instelling Disallow AI Training kunnen organisaties AI-modeltraining weigeren zonder dat ze de reguliere zoekindexering blokkeren.
De nieuwe functies zijn vooral bedoeld voor zogenoemde gecombineerde crawlers. Die gebruiken één crawler voor meerdere toepassingen, bijvoorbeeld om content te indexeren voor zoekresultaten en tegelijk te verzamelen voor AI-training. Volgens Cloudflare is inmiddels 36,6 procent van het geverifieerde crawlerverkeer op zijn netwerk afkomstig van deze categorie.
Cloudflare vervangt de bestaande keuze om AI-bots te blokkeren door drie afzonderlijke besturingsfuncties: Search, AI Training en AI Agents. Daarmee kunnen websitebeheerders per toepassing bepalen wat een crawler wel en niet mag doen.
Minder dan 1 procent van de websites op het Cloudflare-netwerk blokkeert volgens het bedrijf zoekmachinecrawlers, terwijl 17 procent AI-training beperkt. Tot nu toe kon het blokkeren van training bij gecombineerde crawlers ook gevolgen hebben voor de vindbaarheid in reguliere zoekresultaten.
Accountable crawling
Cloudflare introduceert daarnaast de aanduiding Accountable voor operators van AI-crawlers. Zij moeten website-eigenaren onder meer een duidelijke mogelijkheid bieden om AI-training te weigeren via robots.txt of een vergelijkbare standaard.
Ook moeten zij een optie bieden om gebruik voor AI-gegenereerde zoekresultaten uit te sluiten, inzicht geven op URL-niveau in het gebruik van content en publiekelijk bevestigen dat het weigeren van AI-training geen invloed heeft op de ranking in traditionele zoekresultaten.
Apple, Google en Microsoft voldoen volgens Cloudflare aan deze voorwaarden of hebben concrete termijnen genoemd om daaraan te voldoen. Google biedt bijvoorbeeld Google-Extended, waarmee websites gebruik voor AI-training kunnen weigeren zonder reguliere zoekindexering te blokkeren.
Andere AI-bedrijven gebruiken aparte crawlers voor zoeken en training. Daardoor kan Cloudflare de trainingscrawler blokkeren zonder gevolgen voor de zoekcrawler.
Nieuwe instellingen
Cloudflare vervangt ook Managed Robots.txt door Bot Preference Sync. Daarmee kunnen website-eigenaren hun crawlvoorkeuren op één plek instellen, waarna Cloudflare deze automatisch toepast op ondersteunde crawlers.
Voor nieuwe websites met advertenties adviseert Cloudflare voortaan om zoekmachinecrawling toe te staan, AI-training te weigeren en AI-agents op pagina’s met advertenties te blokkeren. Voor andere nieuwe websites worden zoeken, AI-training en AI-agents standaard toegestaan.
Cloudflare werkt daarnaast binnen de Internet Engineering Task Force mee aan ai-prefs, een specificatie in ontwikkeling waarmee websites hun voorkeuren voor AI-toegang op een gestandaardiseerde manier kunnen aangeven.
Bron: Cloudflare
