O analiză sistematică a 68 de rapoarte privind utilizarea modelelor lingvistice mari (LLM) în medicină arată că transparența cercetării în acest domeniu lasă mult de dorit. Evaluarea s-a realizat prin aplicarea criteriilor TRIPOD-LLM, un standard metodologic specific acestui tip de studii, iar rezultatele sunt îngrijorătoare: elementele legate de funcționarea internă a modelelor sunt raportate extrem de rar.
Datele concrete sunt grăitoare: sursele de date folosite la antrenare au fost menționate în doar 6% dintre studii, preprocesarea datelor în 3%, instrucțiunile de ajustare fină (instruction tuning) în 6%, iar resursele de calcul utilizate în doar 1% din cazuri. În plus, 78% dintre studii au evaluat modele deja existente, fără a implica dezvoltarea unuia nou, iar 75% au folosit produse OpenAI — o concentrare care ridică întrebări despre diversitatea și reprezentativitatea evaluărilor publicate.
Contextul contează însă pentru a înțelege aceste cifre: atunci când cercetătorii utilizează un serviciu comercial precum GPT-4, nu au acces la detaliile tehnice interne ale modelului, indiferent cât de riguroși ar fi. Prin urmare, o parte din lacunele de raportare nu reflectă neglijența autorilor, ci limitările impuse de furnizorii comerciali care nu divulgă arhitectura sau datele de antrenare. Distincția dintre „ce omit cercetătorii" și „ce rețin furnizorii" este esențială pentru interpretarea corectă a acestor lipsuri.
Pentru comunitatea medicală, implicația practică este directă: studiile actuale cu LLM nu oferă informații suficiente pentru a evalua reproductibilitatea sau riscurile de bias ale modelelor testate. Standardizarea raportării și presiunea asupra furnizorilor comerciali pentru mai multă transparență sunt pași necesari înainte ca aceste instrumente să fie integrate în decizii clinice reale.
