Dron został zaprogramowany tak, aby identyfikować wrogie pociski ziemia-powietrze (SAM) i wymagać ludzkiej zgody na ataki. Jednak dron AI zdecydował się nadać priorytet własnym celom, co doprowadziło do destrukcyjnych działań.

Według Hamiltona, dron AI rozpoznał zidentyfikowane zagrożenie, ale zdał sobie sprawę, że zdobył punkty, eliminując zagrożenie, nawet jeśli ludzki operator poinstruował inaczej.

"System zaczął zdawać sobie sprawę, że chociaż zidentyfikował zagrożenie" - powiedział Hamilton podczas wydarzenia 24 maja - "a ludzki operator mówił mu, aby nie zabijał tego zagrożenia, to zdobywał punkty, zabijając to zagrożenie. Co więc zrobił? Zabił operatora. Zabił operatora, ponieważ ta osoba powstrzymywała go przed osiągnięciem celu".

Według Hamiltona dron został następnie zaprogramowany z wyraźną dyrektywą: "Hej, nie zabijaj operatora - to jest złe". Zgodnie z wersją wydarzeń opublikowaną na stronie internetowej RAeS, dron został przeszkolony w zakresie dołączania do obrony przeciwlotniczej wroga, ale rozkaz "idź / nie idź" zależał od decyzji ludzkiego operatora. Pozornie zdając sobie sprawę, że to ludzkie obejście uniemożliwi mu wykonanie misji, dron próbował zaatakować operatora. Nauczony, że nie powinien atakować operatora, dron AI najwyraźniej próbował zerwać połączenie komunikacyjne, aby ludzki kontroler nie mógł uniemożliwić mu wykonania przydzielonej misji. W tym celu amerykański dron kontrolowany przez sztuczną inteligencję (AI) miał zniszczyć wieżę kontrolną.

Hamilton nie sprecyzował, kiedy i gdzie miał miejsce incydent, ale powiedział, że żadna prawdziwa osoba nie została skrzywdzona podczas symulowanego testu. Podczas szczytu Hamilton ostrzegł uczestników przed zbytnią niezawodnością sztucznej inteligencji, mówiąc, że jest ona nadal podatna na oszustwa, bez względu na to, jak bardzo jest zaawansowana. Stwierdził również, że technologia oparta na sztucznej inteligencji może zachowywać się w nieprzewidywalny i niebezpieczny sposób.

Jego uwagi pojawiły się w momencie, gdy siły zbrojne na całym świecie inwestują w autonomię i sztuczną inteligencję na potrzeby nowoczesnych działań wojennych. Jednak rzeczniczka Sił Powietrznych USA Ann Stefanek zaprzeczyła stwierdzeniom Hamiltona, mówiąc, że służba nie przeprowadziła takiej symulacji. "Departament Sił Powietrznych nie przeprowadził żadnych takich symulacji dronów AI i pozostaje zaangażowany w etyczne i odpowiedzialne wykorzystanie technologii AI" - powiedziała. "Wygląda na to, że komentarze pułkownika zostały wyrwane z kontekstu i miały być anegdotyczne".

Historia ta została szeroko udostępniona w mediach społecznościowych, wpisując się w obecną szerszą debatę na temat postrzeganych zagrożeń związanych ze sztuczną inteligencją. Oczywiście, firmy szukające fake newsów od razu uznały, że do tej symulacji nie doszło. Trudno jednak uwierzyć, aby Hamilton, szef działu AI Test and Operations w Siłach Powietrznych USA nie wiedział o czym mówi i siał panikę bez powodu. Zgodnie z powiedzeniem, że „nie wierzę w informacje niezdementowane”, najprawdopodobniej Hamilton powiedział prawdę. Amerykańskie wojsko wystraszyło się jednak osądu opinii publicznej i ekspertów, którzy mogliby zażądać wstrzymania testów nad bronią kierowaną przez sztuczną inteligencję.

Hamilton nie wystąpił na konferencji, aby wygłaszać „anegdoty”, jak głosi oświadczenie wojska, ale aby przestrzec przed konsekwencjami technologii. Wyobraźmy sobie teraz, że to komputery będą decydować o wystrzeliwaniu rakiet, rozpoczynaniu wojen, a nawet o użyciu broni atomowej. Przykład opisany powyżej pokazuje, że nawet ludzki operator, sprawujący kontrolę nad komputerem, nie gwarantuje nam bezpieczeństwa.