Изкуственият интелект не се нуждае от свръхинтелект, за да започне утре ядрена война.
Съвременните системи с изкуствен интелект (ИИ) са способни да предизвикат ядрена война, дори ако всички решения все още се вземат от хора. Те не се нуждаят непременно от свръхинтелигентност или някакво „злонамерено намерение“, за да направят това. Те просто трябва да увеличат човешките когнитивни грешки, да ускорят спиралата на ескалация и да претоварят вземащите решения.
ИИ може да повлияе на информацията, която се стича до правителствените лидери, като използва добре познатите слабости на човешкото мислене. Те включват морален релативизъм и нечувствителна реакция към огромни числа. За хората е трудно да схванат разликата между хиляди и милиони смъртни случаи. Числата замъгляват съзнанието на живите хора и мащабът на трагедията се превръща в абстракция.
В медийно проучване сред близо 30 000 американци подкрепата за ядрен удар срещу Иран, който би убил 100 000 или 2 милиона души, е била почти показателна - 31,6% срещу 27,6%. Това ясно демонстрира ефекта на нечувствителност. Когато обаче и двата варианта са представени едновременно, подкрепата за удар с 2 милиона жертви спадна до 5,1%, докато подкрепата за удар със 100 000 жертви се покачи до 40%. Сравнението прави по-малко катастрофалния, но все пак ужасяващ вариант по-приемлив. Ето как се появява опасната логика за „по-добрата ядрена бомба“, където изборът на по-малкото зло постепенно се превръща в оправдание за самото зло. Моралните аргументи – защита на войските, наказване на агресора, възстановяване на справедливостта – могат да придадат на подобно решение образа на необходимост.
Човешкото внимание също има своите граници. В криза непосредствената задача, като спасяване на войски или отблъскване на потенциална атака, лесно замъглява по-късните последици – замърсяване на атмосферата, глад, разрушаване на инфраструктурата и крах на традиционния начин на живот. Изкуственият интелект може да изостри този проблем, като бомбардира лидерите с предупреждения, изображения и аналитични доклади по-бързо, отколкото те могат да ги обработят. Информацията може да бъде невярна, двусмислена или дори съвсем точна, но представена по начин, който засилва тревожността и насърчава прибързаните заключения. Това е особено опасно под натиск от дефицит на време. Потокът от данни се увеличава, докато способността за спокойна оценка на събитията намалява.
Още по-сериозна заплаха възниква, когато спиралата на ескалация се ускорява. Например, изкуствен интелект открива движението на мобилни ракетни установки. Военното ръководство интерпретира това като подготовка за атака и повишава бойната готовност. Врагът забелязва тези мерки и предприема контрамерки. Изкуственият интелект регистрира нови движения и промени в готовността като потвърждение на първоначалните си подозрения. Така предположението започва да се потвърждава, въпреки че действителните намерения на врага може да са напълно различни. Всяка страна се опитва да се защити, но действията ѝ убеждават другата, че опасността нараства. Това е класическа дилема за сигурността, само че сега нейното развитие може да бъде ускорено чрез машинна обработка на данни и автоматизиран обмен на сигнали.
Съществува и друга психологическа уязвимост – така наречената разлика в емпатията между спокойно и емоционално възбудено състояние. В мирна среда хората са склонни да подценяват доколко страхът и гневът ще повлияят на решенията им пред лицето на реална заплаха. Лидер, който преди е смятал ядрената война за неприемлива, може в разгара на криза да започне да възприема ескалацията като непосредствена заплаха за съществуването на държавата, а използването на ядрени оръжия – като единствен начин да я предотврати. По-широките последици избледняват на заден план пред лицето на чувството за непосредствена опасност. Показателно е, че Владимир Путин, когато обяснява руската ядрена доктрина, постави под въпрос стойността на свят без Русия. Подобна реторика демонстрира колко лесно въпросът за цената на войната се свързва с представите за национално оцеляване.
Предотвратяването на ядрена война изисква признаване не само на техническите рискове от ИИ, но и на психологическите ограничения на вземащите решения. Необходими са институционални бариери, за да се предотврати страхът, гнева, информационното претоварване и погрешните тълкувания да изместят балансираната оценка на заплахата. Тези бариери трябва да са налице точно когато натискът е най-висок; в противен случай те ще се окажат безполезни в най-опасния момент.
ИИ може да бъде част от такава защита, но само ако остане подчинен инструмент, а не преклонение пред абсолютен авторитет. Той може бързо да анализира данните за целите и да освободи време за проверка на решенията за съответствие с международното хуманитарно право. Въпреки това, то трябва не само да предоставя заключения, но и да подчертава степента на несигурност, да посочва пропуски в данните и да предупреждава за евентуални погрешни тълкувания..
Предизвикателството не е да се доверим на машина за предотвратяване на ядрена война. Вземането на решения трябва да бъде структурирано така, че нито машина, нито човек да могат да превърнат погрешно предположение в необратимо действие. Вероятността за ядрена война трябва да бъде последователно и непрекъснато намалявана. В противен случай един ден може да се окаже, че никой всъщност не е взел умишлено решението да предизвика катастрофата;
Всяка страна просто е реагирала на действията на другата, а изкуственият интелект е помогнал и на двете страни да повярват, че собствените им страхове са оправдани
