美國人工智慧（AI）大廠近期掀起「放慢開發AI」的呼籲，認為AI安全防護速度已經難以跟上模型發展。微軟 AI部門執行長 蘇雷曼（Mustafa Suleyman）週四（9月17日）也警告，若企業持續賦予AI更高自主權，未來可能催生與人類競爭資源的「矽基物種」（Silicon Species）。
蘇雷曼17日接受英國廣播公司（BBC）節目《今日》（Today）採訪時表示，民眾對AI發展感到擔憂是「正確的」，但目前仍有實際方法能讓AI維持在人類控制之下。他強調，企業應避免打造能自行設定目標、賺錢、持有資產甚至經營企業的AI系統，否則可能讓AI逐漸成為難以控制的獨立系統。
蘇雷曼近期也公開質疑AI公司Anthropic訓練Claude的方式，認為過度將AI「擬人化」，容易讓人產生AI具備欲望、價值觀及自我意識的印象，進一步增加人類賦予AI自主權的風險。但他同時肯定Anthropic執行長阿莫戴（Dario Amodei）及其團隊，表示雙方雖然在理念上有所分歧，但目標都是打造更安全的AI。
蘇雷曼主張，AI發展應遵循「對齊」（alignment）原則，讓AI的目標與行為符合人類設定的價值及規則。他也呼籲提高AI企業在模型訓練、評估及監督方面的透明度，包括接受獨立審查，並建立更強大的控制工具。
不過美國總統川普（Donald Trump）日前對於業界的呼籲公開表態，認為在合理監管下，主張AI仍必須持續發展，否則最後受惠的恐怕是中國；輝達執行長黃仁勳也對此表達支持，認為外界所稱的「AI末日論」並不存在。
隨著AI代理技術發展，AI已逐漸從單純回應指令，走向能規劃任務、使用工具及自主執行工作的階段，也讓AI安全討論從「AI會做什麼」，進一步延伸到「AI應該被允許自主做多少事」，以及人類如何在提升AI能力的同時維持有效控制。
