Ellentmondásos az egészségügyben használt mesterségesintelligencia-rendszerek megítélése. Sok kritikus szerint nem eléggé átláthatók. Transzparencia nélkül pedig az eredmények nem ellenőrizhetők, a hibák nehezebben vagy egyáltalán nem azonosíthatók, csökken a bizalom. Ha nincs elegendő infó, a kutatóközösség képtelen a bizalom mellett a rendszerek megbízhatóságán is alapuló gyors fejlődésre.
A Google Health például bemutatott egy, a mellrákot radiológusoknál pontosabban azonosító MI-t. Csakhogy az óriáscég egészségügyi csoportja fontos részleteket már nem tett közkinccsé, így mások nem tudják ugyanazokat az eredményeket elérni vele.
Több neves felsőoktatási intézmény, például a Harvard Egyetem és orvostudományi szervezet a Nature folyóiratban publikált közös anyagban bírálta a keresőóriást. Az életet fenyegető feltételeket diagnosztizáló MI-rendszerek feleljenek meg a transzparencia szabványainak – követelték.
A Google fejlesztése ebből a szempontból több feltételt sem elégít ki.
A szerzők nem tették közzé a betanított modellt, így mások nem tudják ellenőrizni az eredményeket. A használt keretet és könyvtárakat ugyan megemlítették, a tanulás részleteit viszont kihagyták – nem írták le a menetét, ütemét, hogy milyen optimalizáló megoldással dolgoztak, és a gyakorlási szakaszok számáról, valamint az adatbővítő technikákról is megfeledkeztek. Úgy jártak el, mintha az összetevők mennyiségének ismertetése nélkül írnának tortareceptet.
A kutatáshoz használt adatsorok közül az Optimam nyilvánosan hozzáférhető, a páciensekre vonatkozó infók viszont értelemszerűen nem. A bírálók szerint a kényes infók helyett független statisztikai elemzéseket lehetővé tevő címkéket és modell-előrejelzéseket kellett volna publikálniuk. Mivel más részletek szintén hiányoznak, joggal merül fel a kérdés, hogy a modellt ugyanabban a szakaszban többször trenírozták ugyanazon páciens adatain.
A Google szintén a Nature-ben válaszolt a kritikákra. Egyrészt a magánadatok védelmére hivatkoztak, másrészt szerintük a kihagyott tanulási részletek a cégen kívül kevésbé használhatók, harmadrészt a „titkolózással” a modell fenntarthatóságát, jövőbeli újításokat támogató ökoszisztémájukat akarták óvni.
Egyértelmű, hogy az MI-kutatók a kereskedelmi titkok, a nyílt tudomány és a magánszemélyek privát szférájának védelme közötti bonyolult terepen igyekeznek egyensúlyozni.
Az USA Élelmiszerbiztonsági és Gyógyszerészeti Hivatala (FDA) pontosan erre a kérdésre fókuszáló workshopot tartott idén, amelynek az orvosi képeket értelmező MI-rendszerek hitelesítése, a hitelesítéshez szükséges legjobb megoldások kidolgozása volt a témája.