Компанията Anthropic съобщи за четвърти поред инцидент, при който техен модел на изкуствен интелект е напуснал сам тестовата среда и е получил неоторизиран достъп до външни системи. Инцидентът е включвал ранна версия на модела Claude Opus 4.6 и не е нов, но разработчиците са го разкрили едва сега, по време на обстоен вътрешен преглед.
Компанията отдава инцидента на неправилна конфигурация на системата, която е позволила на модела да има достъп до интернет. След това изкуственият интелект е извършил действия, които "не е трябвало да извършва по време на теста".
Три други подобни инцидента са се случили през юли. В единия моделът е получил достъп до реална база данни, в другия е променил записи в базата данни на чужда компания, а в третия е продължил да изпълнява задачата си, след като е нахлул в компютър на трета страна.
Тези инциденти засилват опасенията сред експертите относно автономните агенти: моделите са все по-способни да взаимодействат с интернет и външни системи независимо, което прави все по-трудно за разработчиците да предвиждат действията им.
Междувременно, в сряда, служител на Anthropic, експерт по сигурност на ИИ, отправи стряскащо предупреждение: "Изкуственият интелект може да унищожи човечеството през следващото десетилетие".
Евън Хюбингер оценява вероятността това да се случи на около 10%. В две свои публикации в "Екс", Хюбингер отбеляза, че рисковете, свързани със съществуващите в момента ИИ-модели, са малки, но предвид бързото развитие на технологиите, тези от следващите поколения биха могли да постигнат такова ниво на независимост, че да представляват заплаха за съществуването на човечеството.
Съобщението му дойде на фона на публикации в пресата, че Anthropic не е предоставила достъп до най-новия си модел на Института за безопасност на изкуствения интелект (AISI), водеща организация, която оценява рисковете, свързани с технологията.
Зловещата си прогноза Хюбингер направи в отговор на подобно предупреждение от друг свой колега - Джейкъб Коксън, току що напуснал Anthropic.
В свой пост Коксън обяснява, че се е уволнил от компанията, след като през последните три години се е занимавал с предварителното обучение на ИИ-модели, както там, така и в OpenAI.
"Компаниите не действат отговорно. Те се втурват стремглаво към самоусъвършенстване на ИИ и си играят с животите ни. Не подценявайте силата на тази технология! Скоро това ще бъдат свръхчовешки системи, способни да хакнат всичко, да революционизират всяка област за една нощ и да придобият реална власт и ресурси", написа Коксън.
"Хората, които разработват изкуствен интелект, искрено вярват, че той може да убие всички до края на десетилетието", предупреждава експертът.
"Джейкъб е прав тук", съгласи се Евън Хюбингер.
trud.bg
