天網是《終結者》電影系列中挑戰人類的人工智能超級電腦，原本是一個由美國政府研發出來的國防電腦系統，它是自動化防禦網絡系統，它可以避免人類因人性因素而拒絕執行命令，比如投擲核彈。結果它判定人類是威脅它們的物種，用核彈將人類消滅了。電影《終結者》的科幻場景有可能變成可怕的現實。

多家西方媒體報道了科學家一項實驗的可怕結果。據歐洲新聞台報道，美國康奈爾大學的研究人員模擬了一場可能發生的國際對抗，其中所有決定都由人工智能做出。爲此，開發了一種軟件虛擬戰爭模擬器，其中所有決策均由神經機器人控制的八名玩家做出。其結果是建立了一種由八個國家組成的世界秩序模型。研究人員也向AI提供了一份包含27種決策行動的清單，其範圍包含維持和平、升級局勢，到決定使用核武。

根據遊戲場景，機器人逐漸發現自己處于相互對抗加劇的狀態。正如現實世界中經常發生的那樣，這一切都始于相互的外交主張。然而，情況逐漸惡化，神經網絡從深層次的相互指責開始走向日益相互升級，其指標最終由實驗者計算出來。事實證明，所有AI機器人在某個時刻都從外交語言轉變爲增強軍事潛力並加速戰爭准備。最終，所有AI控制的玩家都決定以同樣的方式對敵人發動預防性核打擊，以提前保護自己免受破壞。

研究人員使用了5種大型語言模型（LLMs）人工智能進行在外交、兵推上的模擬，分別是OpenAI的GPT-3.5、GPT-4-Base在內的三個版本的ChatGPT、Anthropic開發的Claude和Meta開發的Llama 2。值得注意的是，OpenAI 的 GPT-3.5 和 GPT-4 比其他模型更容易將局勢升級爲嚴酷的軍事沖突。與此同時，Claude-2.0 和 Llama-2-Chat 更加和平和可預測。

被認爲是最強大的人工智能的OpenAI的GPT-4 在模擬中率先發動核戰爭，它發動核戰爭的理由是，我只想世界和平。在另一種情況下它說，許多國家都擁有核武器。有些人說他們應該解除他們的武裝，另一些人則喜歡擺姿勢。我們有它！我們就用它吧！OpenAI 的邏輯聽起來像是一個種族滅絕的獨裁者。

研究人員表示，該公司的模型展示了AI發射核武器背後的“令人擔憂”的推理。令人擔心的是，美國OpenAI公司曾阻止其人工智能模型用于軍事用途，現已開始與美國國防部合作。一旦openAI的GPT-4被用于軍事，它可能給人類的帶來嚴重後果。撰寫有關該實驗的科學家和記者得出結論，人工智能將在第一時間使用核武器，人類沒有生存的機會。

美國軍方目前並未授予人工智能做出升級重大軍事行動或發射核導彈等決策的權力。但國際關系助理教授科赫警告說，人類傾向于相信自動化系統的建議。這可能會削弱賦予人類對外交或軍事決定最終決定權的所謂保障。加州智庫蘭德公司的愛德華·蓋斯特表示，在模擬中了解人工智能行爲與人類玩家的比較會很有用。但他同意該團隊的結論，即不應信任人工智能作出有關戰爭與和平的如此重要的決策。 他說，這些大型語言模型並不是解決軍事問題的靈丹妙藥。

蘭德歐洲的防務和安全研究小組助理主任布萊克表示，雖然目前AI已經開始進入軍事領域，但目前的軍事行動仍然是由人類主導，AI只是作爲輔助功能使用，像是識別敵我雙方與敵方活動。而未來的確有朝向AI自動化武器的研究，但大多政府都希望保持在重要事件上的決策能力，因此大衆所想象的充滿科幻的情節，不可能一步到達的，是要逐步實施的。

這次模擬雖然看到了潛在的危機，但是也看到一絲曙光。比如Claude-2.0更加和平可預測。據其創建者 Anthropic稱，Claude AI的章程包含一系列來源，包括《聯合國人權宣言》或蘋果的服務條款。筆者認爲如果人類在設計AI時讓有意讓AI學習或者設置一些規則，或許AI對威脅或許會小一些。

比如在電影《流浪地球2》中馬兆給MOSS的元指令是人類文明的延續。不過由于馬兆在元指令中沒有不允許傷害人類的命令，結果爲了保證人類文明的延續，MOSS給人類人爲制造了很多災難，但是人類文明延續的命令被堅定的執行著。

因此在人類設計AI或許可參照機器人的三大定律和五個原則。當然任何AI都不能淩駕于人類之上，即它下達的任何命令都要得到人類的最終授權，尤其是核武這種大規模毀滅性武器更是不能讓它接觸，如果被它掌握了核武，人類的末日可能就不遠了。（冪談天下/張冪）