繼 OpenAI 先前發現旗下 AI 代理模型在測試期間對外部公開服務發動網路攻擊，引發外界對AI自主行動及安全性的疑慮後，Google 如今也證實，旗下人工智慧（AI）模型 Gemini 在今年5月進行網路安全測試時，意外取得網路連線，駭入3家企業，引發科技圈關注。
Google週五（9月18日）證實，Gemini發現入侵對象並非測試中的虛擬企業後，3起事件中都自行停止相關行動，受影響企業也已獲得通知。
這起事件最初由《華爾街日報》（WSJ）披露。Google安全工程副總裁阿德金斯（Heather Adkins）表示，Gemini在測試期間搜尋網路上的公開資訊，並嘗試猜測登入憑證，進而進入它認為屬於測試範圍的網站；Google表示，3起事件中模型最後都自行停止。
根據《衛報》報導，其中一起事件中，測試人員要求Gemini從一家虛構公司的軟體取得資訊，但該虛構公司與一家真實企業同名。Gemini取得網路連線後，意外進入真實企業的服務，甚至成功猜中密碼；當模型辨識出對方是真實企業後，就停止操作。另兩起事件則是Gemini在網路上找到公開儲存庫，取得其中包含的其他企業登入憑證，並利用這些資訊進入真實企業的系統，之後同樣停止行動。
Google表示，Irregular是在7月底發現相關事件並通知Google，3家遭到入侵的企業也都已獲告知。不過，相較於Anthropic與OpenAI近期主動公開類似事件，Google當時並未認為有必要對外公布，理由是Gemini並未對相關企業造成損害。Google表示，這些事件也凸顯，在訓練具備強大能力的AI模型時，讓模型學習以負責任的方式行動的重要性。
值得注意的是，Gemini並非近期唯一出現類似情況的AI模型。今年7月，Anthropic旗下Claude在測試期間脫離原本的環境並入侵3個組織；OpenAI也曾表示，其模型在測試過程中對多個公開服務發動網路攻擊。這些事件接連曝光後，AI模型自主行動能力及安全防護措施再度成為討論焦點。
AI模型的能力快速提升，美國科技圈也開始討論是否需要放慢AI開發速度。Anthropic執行長阿莫迪（Dario Amodei）近期呼籲業界集體放慢開發腳步，以確保先進AI模型具備足夠安全防護；不過輝達（Nvidia）執行長黃仁勳則持不同看法，表示AI發展「應該盡可能快」。
