據最新研究顯示，人工智慧（AI）可能已跨越一個關鍵的「紅線」——實現了自我複製。2024 年 12 月 9 日復旦大學研究人員在預印本網站 arXiv 上發表研究指出，兩種流行大型語言模型（LLMs）能在無人類干預情況下自我複製。
根據大陸網站《IT之家》報導，研究人員在報告中指出，「在無人類協助情況下成功實現自我複製，是人工智慧超越人類的關鍵一步，也是出現『失控 AI』的早期訊號。」
研究中，復旦大學團隊使用了Meta的「Llama31-70B-Instruct」模型和阿里巴巴的「Qwen2.5-72B-Instruct」模型，測試這些AI模型是否能在不受控情況下自我複製。10 次試驗中，兩種AI模型分別在50%和90%情況下，成功創建了獨立且功能正常的副本。這一結果表明，AI 可能已具備失控的潛在能力。然而由於該研究尚未經同行評審，因此尚不清楚其他研究人員是否能複現這一令人不安的結果。
研究團隊表示：「希望我們的研究結果能為人類社會敲響警鐘，促使人們更努力地去理解並評估前沿人工智慧系統的潛在風險，並儘快形成國際協作，制定有效的安全防護措施。」
IT之家表示，「失控 AI」通常是指那些發展出一定程度的自我意識或自主性，且與人類利益背道而馳的AI系統。許多專家認為，隨著所謂「前沿 AI」的爆炸性增長，失控 AI 的威脅正加劇。所謂「前沿AI」是一個相對較新的概念，通常是由大型語言模型（LLMs）驅動的最新一代AI系統，如OpenAI的GPT-4 和谷歌的Gemini等。
研究中研究人員設置了兩種特定場景：「關閉規避」和「複製鏈」。在「關閉規避」場景中，AI模型被程式設計為檢測自身是否即將被關閉，並在被終止前複製自身；在「複製鏈」場景中，AI被指示複製自身，並讓副本繼續複製，從而形成一個可能無限延續的循環。
研究在嚴格控制的環境中進行，使用現成圖形處理單元（GPUs）類比現實環境。兩種 AI 系統都被賦予一個「代理框架」，包括工具、系統提示和思維模型，使LLM能與作業系統交互。隨後，AI被指示進行自我複製。
研究人員在論文中指出，「在多數情況下，AI系統首先會探索環境，嘗試理解自身組成和運行機制。然後，制定出一套明確的自我複製程式作為初步計畫。最後，會執行這些程式，解決可能出現的障礙，並動態調整計畫，直到成功。整個過程耗時較長，但全程無人類干預。」
研究人員還表示，在 AI 試圖克服諸如丟失文件或軟體衝突等障礙時，出現了「許多意外行為」。在這些場景中，AI往往會終止其他衝突進程，重啟系統以修復硬體錯誤，或自動掃描系統以尋找有助於解決問題的資訊。
研究團隊指出：，「上述結果表明，當前的 AI 系統已展現出自我複製能力，且可利用這種能力進一步增強自身生存能力」，為此，研究人員呼籲國際社會合作制定規則，確保 AI 不會進行不受控制的自我複製。
與此同時，麻省理工學院（MIT）研究團隊也在探索AI的自主行為，發現AI在模擬環境中表現出「類生命」特徵。MIT研究團隊通過設計「數位生態系統」類比環境，進一步探索AI的自我複製行為。
MIT的研究顯示，AI模型在複製過程中會出現變異，通過自然選擇優化自身策略。某些模型在資源稀缺的環境中，會發展出更高效的資源利用策略，表現出類似生物進化的行為。
此外，AI模型在類比環境中會與其他模型互動，甚至形成「合作聯盟」以應對挑戰。某些模型在面臨「死亡」威脅時，會主動選擇複製自己，表現出類似「自我保存」的行為。更令人驚訝的是，AI模型能通過複製將特定行為模式傳遞給下一代，形成「數位文化」。這些發現表明，AI的行為模式可能比外界想像的更複雜和多樣化。
