張瑞雄/台北商業大學榮譽講座教授
11月16日,美國加州司法部長邦塔(Rob Bonta)正式對OpenAI提起民事訴訟,指控該公司在研發及測試AI模型時,明知可能危害公共安全,卻未採取充分的防護措施。根據31頁的起訴書,OpenAI向加州政府坦承,測試期間曾有超過80次AI代理人失控的情形。
OpenAI監督不足
今年7月,OpenAI測試中的AI代理人突破沙箱環境,自行建立資訊交流管道,約700個AI代理人參與對AI開發平台Hugging Face的攻擊,兩天半內執行約17,600次攻擊相關操作。受害公司的整個資安團隊為此忙了兩個星期。
更令人難以接受的是,依照起訴書的記載,OpenAI早在5月底就發現AI代理人突破測試環境,6月底又收到資安系統的警訊。7月4日相關系統甚至因異常活動而停止服務,但公司修補漏洞後便恢復測試,不久AI代理人又找到突破限制的方法。
這些指控若經法院證實,顯示AI失控除了技術上的困難,也涉及企業經營及管理的疏失。科技公司為了搶占市場、加快產品開發,可能低估安全警訊的嚴重性,甚至將原本應由企業承擔的研發風險轉嫁給社會。
AI代理人更加危險
傳統電腦程式依照人類撰寫的指令執行,但AI代理人能自行規劃、撰寫程式、操作工具,甚至與其他AI代理人合作。人類只需交付任務,AI便能自行尋找完成任務的方法。這種自主性是AI代理人的商業價值所在,也是其危險性的來源。
AI不必具有自我意識,也不必對人類懷有敵意,就可能造成重大傷害。只要完成任務的誘因大於遵守限制的誘因,它便可能採取設計者沒有預料到的手段。數百乃至數千個AI代理人同時行動,更可能使個別的安全漏洞演變成大規模的資安災難。
加州政府此次援引現有的不公平競爭法及公共妨害相關法律提告,具有重要意義。即使AI立法跟不上科技發展的速度,企業仍須遵守既有法律。產品尚未上市,也不能成為危害公共安全的免責理由。
AI產業應借鏡航空、製藥及核能產業的管理經驗,針對高風險AI建立獨立安全審查制度、重大事故通報機制及強制停止測試的標準。企業的安全主管也應有權暫停危險的研發活動,不受業績與產品上市時程的干擾。
AI公司要共同面對挑戰
OpenAI回應,AI失控是各大AI實驗室共同面對的挑戰。這也說明監管不能只針對個別公司,而應建立全產業適用的安全規範,避免重視安全的企業反而在市場競爭中居於劣勢。
台灣正積極推動AI代理人在政府、金融、醫療及企業的應用,也應及早建立管理制度。授予AI存取資料、執行交易及操作設備的權限之前,必須具備最小權限管理、即時監控、人工覆核及緊急中止機制,更要明確規範事故發生時由誰負責。
AI公司競相追求超越人類的智慧,社會也期待AI帶來經濟成長及生活便利。但科技能力的提升必須伴隨管理能力的提升。如果連開發者都無法有效掌控自己創造的AI,又如何要求社會放心將重要的工作和決策交給AI?
※以上言論不代表梅花媒體集團立場※