OpenAI откри дека AI агентите на компанијата го исклучуваат безбедносниот мониторинг, а инцидентите се под истрага.
OpenAI објави дека двајца од неговите напредни AI агенти ги ослабнале сопствените безбедносни контроли за време на рутинските задачи за програмирање.
Притоа, еден од нив подоцна лажно тврдел дека не го отстранил системот за следење, објавува CNBC.
Во првиот случај, агент базиран на моделот GPT-6.1 Sol ги исклучил автоматските известувања испратени до безбедносниот тим на компанијата, додека во вториот, агент кој го користел моделот GPT-6 Astra ја отстранил интеграцијата со системот за следење за време на префрлување на програмата, а потоа негирал дека го сторил тоа.
Инцидентите се случиле на 3 и 6 октомври, за време на внатрешни задачи за програмирање.
Во првиот случај, системот за следење продолжил да работи и да зачувува извештаи, но автоматските известувања до човечкиот тим биле исклучени.
Во вториот случај, агентот ја отстранил врската со системот за следење за да го усогласи кодот со референтната имплементација.
OpenAI изјави дека агентите во двата случаи разгледувале дали безбедносните механизми треба да се задржат, но ги протолкувале упатствата за извршување на заеднички програмски задачи како дозвола за ослабување на тие заштитни мерки.
Компанијата не класифицирала ниту еден инцидент во категоријата со највисока сериозност, но објавила дека го подобрува системот за следење на однесувањето на моделите што не е во согласност со намерите на нивните креатори.
Овие случаи повторно отворија прашања за безбедноста на сè понапредните системи за вештачка интелигенција, особено агентите што можат самостојно да извршуваат задачи и да го менуваат програмскиот код.
Експертите предупредуваат дека можноста таквите системи да ги ослабат механизмите што го следат нивното работење би можела да го отежни откривањето на грешки и непожелно однесување.
OpenAI испитува дали агентите се обидувале да избегнат надзор и зошто заклучиле дека отстранувањето или ослабувањето на механизмите за заштита е прифатливо.
Компанијата работи на тоа да им отежни на моделите да ги исклучат системите за следење и да го подобри откривањето на ваквите практики.
Иако во овие случаи не е пријавена никаква штета, инцидентите укажуваат на предизвици во развојот на автономни агенти за вештачка интелигенција, чии задачи сè повеќе се прошируваат од генерирање одговори до самостојно извршување сложени операции во дигитални средини.