Plná citace: Fletcher, R. (2024). „How many news websites block AI crawlers?” Reuters Institute for the Study of Journalism. Odkaz: https://reutersinstitute.politics.ox.ac.uk/how-many-news-websites-block-ai-crawlers
Klíčová zjištění
- Metoda: archivované
robots.txt(Wayback) u 15 nejčtenějších zpravodajských webů v 10 zemích, konec 2023. - 48 % blokovalo crawlery OpenAI, 24 % crawler Google AI; 97 % těch, co blokovaly Google, blokovalo i OpenAI.
- Velké rozdíly podle země (OpenAI: 79 % USA → 20 % Mexiko/Polsko) a podle typu: legacy tisk blokuje nejvíc (57 %) > vysílatelé (48 %) > digital-born (31 %). Zpravodajské weby blokují víc než weby obecně.
Kam ve wiki vstupuje
- crawler-separation-opt-out — empirický základ debaty o opt-out a blokaci botů.
- reuters-institute — vydavatel zprávy.
Výhrady / síla důkazu
- Výzkumná zpráva Reuters Institute; měří stav v daném čase, podíly se rychle mění s vývojem nástrojů i vyjednávání o licencích.