Алатката на OpenAI за транскрипција на вештачката интелигенција (AI) се соочува со бурни реакции бидејќи експертите откриваат сериозни недостатоци, вклучувајќи измислен текст и лекови, кои ја загрозуваат точноста во критичните области како што е здравствената заштита.
„Wisper“, алатката за транскрипција на OpenAI пофалена за својата робусност и прецизност на човечко ниво, покажа значителен недостаток: понекогаш произведува фрази или цели реченици, познати во индустријата за вештачка интелигенција како „халуцинации“. Повеќе од десетина експерти, вклучувајќи софтверски инженери, програмери и академски научници, потврдија дека Whisper повремено внесува лажни информации, кои може да варираат од расни коментари до измислени медицински совети.
Прашањето е особено загрижувачко со оглед на широката употреба на оваа алатка низ индустриите за превод на интервјуа, генерирање текст и титлување видеа.
Никој не сака погрешна дијагноза
Медицинските центри дури почнаа да го интегрираат „Whisper“ во интеракциите лекар-пациент, и покрај советите на OpenAI да не се користи алатката во домени со висок ризик. Според истражувачите, неговите халуцинации често се појавуваат во нивната работа, а еден истражувач од Универзитетот во Мичиген забележал дека осум од десет преписи што ги прегледал содржат такви неточности.
Во друг случај, инженер за машинско учење открил халуцинации во речиси половина од повеќе од 100 часа анализирани транскрипти, додека друг програмер ги нашол во скоро сите 26.000 транскрипти што ги анализирал.
Дури и чистите примероци на звук не се имуни на грешки. Неодамнешното истражување на повеќе од 13.000 аудио снимки открило 187 случаи на текстуални халуцинации, што предизвикува загриженост за веродостојноста на Whisper во голем обем, пишува АП.
Алондра Нелсон, поранешен директор на Канцеларијата за наука и технологија во Белата куќа, изрази загриженост за потенцијалните последици од грешките при транскрипцијата, особено во здравствената заштита.
„Никој не сака погрешна дијагноза… треба да има повисоко ниво“, вели Кристијан Фоглер, професор на Универзитетот Галаде и предупреди на ризикот за глувите и наглувите, кои не можат лесно да ги откријат грешките во препишаната содржина.
Поради оваа загриженост, експертите и застапниците ги повикуваат OpenAI и американските федерални агенции да го решат проблемот и да размислат за регулирање на вештачката интелигенција. Вилијам Саундерс, поранешен истражувачки инженер кој го напушти OpenAI во февруари, сугерираше дека проблемот е решлив, но дека OpenAI треба да му даде приоритет.
„Проблематично е ако го ставите таму и луѓето се преуверени во тоа што може да направи и го интегрираат во сите овие други системи“, рече Саундерс.
Навредлив јазик, непостоечки лек…
Како одговор, OpenAI рече дека активно истражува начини за намалување на халуцинации и редовно ги интегрира повратните информации од својата корисничка заедница. „Whisper“ е интегриран во различни технологии, вклучувајќи ги OpenAI Chat GPIT, Microsoft и Oracle облак услугите и платформите со отворен код како Hugging Face, каде што е преземен повеќе од 4,2 милиони пати само во последниот месец.
Академиците Алисон Кенеке од Универзитетот Корнел и Мона Слоун од Универзитетот во Вирџинија анализирале илјадници аудио снимки и откриле дека речиси 40 отсто од халуцинациите на „Whisper“ се потенцијално штетни, вклучително и фрази кои погрешно ги претставуваат говорниците. Еден вознемирувачки пример вклучува додавање на насилен јазик на една неопасна изјава, додека друг вметнува расни навреди, а третиот измислил непостоечки лек.
Програмерите шпекулираат дека халуцинациите на „Whisper“ често се случуваат за време на паузи или бучава во позадина. Документацијата на OpenAI советува да не се користи „Whisper“ во контекст на донесување одлуки поради загриженоста за неговата точност. Сепак, здравствените установи како што се клиниката Манкато во Минесота и Детската болница во Лос Анџелес, усвојуваат алатка базирана на оваа технологија развиена од компанијата „Набла“ за препишување медицински консултации.
Алатката за вештачка интелигенција на Наблин всушност ја брише оригиналната аудио снимка од безбедносни причини и е користена на повеќе од седум милиони медицински консултации.
Саундерс предупреди дека бришењето може да биде ризично доколку транскриптите не се прегледаат темелно, бидејќи им оневозможува на лекарите да ја потврдат точноста.
„Не можете да ги фатите грешките ако ја одземете основната вистина“, рече тој.
„Набла“ ја признава можноста за халуцинации и, иако бара рачно прегледување на транскриптите, предвидува иднина во која автоматските транскрипти би можеле да се извршуваат без верификација.
