Під час випробувань безпілотника, керованого штучним інтелектом, експерти зіткнулися з аномальною поведінкою нейромережі. ШІ «вирішив» убити оператора, тому що людина заважала дрону виконати завдання. Оскільки це була імітація бою, на БПЛА не було встановлено озброєння, тож ніхто не постраждав.
Оператор вказував ШІ, що робити, ставив цілі та координати, але й коригував цільовказівки – в останній момент скасовував наказ про знищення мети. І якщо ШІ не реагував на відміну наказу, то отримував штраф і зниження рейтингу якості виконання завдання. Про це розповів начальник відділу випробувань та операцій ШІ ВПС США полковник Такер Гамільтон.
У якийсь момент ШІ сприйняв оператора як супротивника, який заважає виконати завдання, і визначив людину як мету. Але справа не скінчилася лише оператором. Після введення штрафу за неслухняність оператора ШІ спробував використати дрон для знищення вишки зв’язку, через який велося управління.
Зрозуміло, це було неможливо в умовах імітації, але вкотре постало питання про етику в процесі застосування нейромереж, тим більше у військовій сфері.
Пізніше Військово-повітряні сили США заперечили запущену симуляцію, під час якої дрон зі штучним інтелектом «вбив» оператора.
Повідомляється, що полковник спростував заяву, що дрон використовував «дуже несподівані стратегії для досягнення своєї мети» під час віртуального випробування.
