Plná citace: DeVerna, M. R., Yan, H. Y., Yang, K.-C. & Menczer, F. (2024). „Fact-checking information from large language models can decrease headline discernment.” PNAS, 121(50), e2322823121. DOI: 10.1073/pnas.2322823121. Odkaz: https://www.pnas.org/doi/10.1073/pnas.2322823121
Klíčová zjištění
- Preregistrovaný RCT, N = 2 159 reprezentativních US respondentů; každý posuzoval 40 reálných politických titulků (půl pravdivých / půl nepravdivých, vyvážené pro/proti oběma stranám). Podmínky: kontrola, lidský fact-check, ChatGPT 3.5 vynucený, ChatGPT volitelný.
- AI byla přesná na nepravdivé (90 % správně označila za nepravdivé), ale u pravdivých titulků byla často „nejistá” (65 %), jen 15 % správně pravdivých a 20 % chybně „nepravdivých”.
- AI fact-check nezlepšil rozlišování — v některých případech uškodil: snižuje důvěru v pravdivé titulky chybně označené za nepravdivé a zvyšuje důvěru v nepravdivé, u nichž byl model nejistý. Naopak lidský fact-check rozlišování zlepšil (+18 % v míře rozlišení).
- AI fact-check navíc zvýšil ochotu sdílet (pravdivé i nepravdivé).
Kam ve wiki vstupuje
- duvera-konverzacni-rozhrani — AI fact-checking nezvyšuje informační gramotnost (lidský ano).
- kognitivni-offloading — oslabení vlastního rozlišování při spolehnutí na stroj.
Výhrady / síla důkazu
- silná: velký preregistrovaný RCT (PNAS). Měří ale rozpoznání titulků, ne plnou zpravodajskou interakci s chatbotem; GPT-3.5.