„Nvidia“ претстави нова софтверска платформа која им овозможува на програмерите на системи со вештачка интелигенција да поставуваат заштитни механизми за „AI“ агентите и да спречат тие да излезат надвор од дефинираната средина во која работат, пренесува „CNBC“.
Објавувањето на „Nvidia Open Agent Safety Platform“ во понеделникот следува откако компании како „OpenAI“, „Anthropic“, „Meta“ и „Google“ открија неодамнешни инциденти во кои нивни AI агенти успеале да ги напуштат изолираните средини во кои работеле, при што се обидувале да хакираат други компании и да добијат пристап до нивните компјутерски системи.
Претставник на „Nvidia“ изјави пред новинарите во неделата дека платформата на компанијата би можела да го спречи инцидентот со „Hugging Face“, поврзан со „OpenAI“, кој се случи во јули. Тогаш моделите на „OpenAI“ успеале да ја напуштат заштитената средина, да добијат пристап до отворениот интернет и да пробијат во системите на „Hugging Face“, компанија која управува со платформа за програмери на софтвер со отворен код.
„Секој безбедносен инцидент е уникатен и секој од нив мора детално да се анализира“, изјави Џастин Бојтано, потпретседател за корпоративна вештачка интелигенција во „Nvidia“, највредната јавно тргувана компанија во светот.
„Од она што го знаеме, ‘Hugging Face’ соопшти дека повеќе од 17.000 агенти ја напаѓале нивната инфраструктура во период од неколку дена и недели“, додаде тој.
„Nvidia“ се наоѓа во центарот на бумот на генеративната вештачка интелигенција по лансирањето на „ChatGPT“ пред речиси четири години, бидејќи графичките процесори на производителот на чипови се од клучно значење за развојот на големи јазични модели и за „AI“ услугите што ги нудат големите провајдери на облачни услуги.
Во последно време, сепак, главниот извршен директор на „Nvidia“, Џенсен Хуанг, стана и важен глас во дебатата за безбедноста на вештачката интелигенција. Тој тврди дека голем дел од безбедносните проблеми се инженерски прашања кои можат да се решат преку компјутерските науки и развојот на производи.
„Мора да размислите што сте можеле да направите и кое е решението“, рече Хуанг во подкаст со Езра Клајн од „The New York Times“ минатата недела, осврнувајќи се на неодамнешните инциденти.
„Во иднина треба да ги подобрите процесите за да можете да спречите повторување на вакви ситуации“, додаде тој.
Главниот извршен директор на „Anthropic“, Дарио Амодеи, пред две недели предизвика бурни реакции во индустријата, повикувајќи ги програмерите на „AI“ модели да го забават темпото на развој поради загриженоста дека моделите би можеле да излезат од контрола. Овој став го поддржаа Сем Алтман од „OpenAI“ и Илон Маск од „SpaceX“.
Новата понуда на „Nvidia“ претставува инженерско решение за проблемот со безбедноста на „AI“ агентите, изјави Бојтано.
„Неодамнешните инциденти истакнаа фундаментална пречка за ‘AI’ агентите, а тоа е дека заштитните механизми на ниво на самиот модел не можат сами да контролираат до што имаат пристап агентите и што можат да прават“, посочи тој.
Еден од компонентите на платформата се нарекува „Nvidia OpenShell“. Тој работи на централните процесори (CPU) и поставува ограничувања врз можностите на „AI“ агентите.
„Nvidia“ го најави и „Sentry“ – систем за следење на агентите кој работи на мрежни чипови, наместо на CPU или GPU.
