人工智慧（AI）能力快速提升，安全疑慮也同步升溫。OpenAI執行長 奧特曼（Sam Altman）近日接受《財星》（Fortune）雜誌專訪時表示，該公司今年不會進行首次公開募股（IPO），並警告AI發展到超越人類控制的程度「絕對」可能發生。
奧特曼在訪談中表示，OpenAI今年進行IPO「並不明智」（ill-advised）。目前AI安全標準「還沒有達到」可以讓業界進一步大幅提升AI能力的程度。
「我認為，承擔10%導致全人類在這個十年結束前滅亡的風險，這是無法接受的。我認為我們正邁入一個新時代，正如過去進入其他時代一樣，必須以不同方式行動，確保我們所做的事情不僅能讓這項理念造福全人類，也要確保沒有人會承擔這麼高的風險」。
他也表示，如果有必要全面暫停甚至停止AI開發，他不介意站出來對抗投資人。
奧特曼同時透露，包括OpenAI在內的主要AI公司可能正在醞釀一項協議，在AI安全與「對齊」（alignment）技術追上模型能力之前，先放慢AI發展速度。所謂AI「對齊」，是指讓AI系統的行為符合人類的意圖、價值觀與安全要求。
Anthropic執行長：必須放慢AI模型能力提升速度
Anthropic執行長阿莫戴（Dario Amodei）週六（9月12日）在X平台發布文章，希望在不「犧牲商業優勢或美國在AI領域的領先地位」的情況下，控制AI技術發展速度。
他提出的三步驟架構包括：
第一、建立獨立第三方審查機制。
在前沿AI公司內設立第三方評估人員，給予其接近公司員工的權限，以檢查AI安全措施、參與風險評估並回報重大事件。
第二、讓主要AI公司協調建立共同安全標準。
阿莫迪主張，民主國家的主要AI企業應共同制定安全標準，降低各家公司競相加速發展所產生的風險。
第三、推動政府之間的國際合作。
他認為AI風險不可能只靠單一企業或單一國家處理，因此民主政府與其他國家都需要建立一定程度的協調機制。
阿莫戴強調，放慢發展速度不是要求AI產業「踩煞車到停止」，而是確保公司花足夠時間確認模型安全，再繼續推進能力。
對此，奧特曼在X平台表示，AI產業確實需要控制先進AI能力的發展速度，而讓獨立評估人員取得與公司員工類似的權限，是「很好的想法」，OpenAI也將採取類似措施；xAI創辦人馬斯克（Elon Musk）同樣公開支持阿莫戴，直接在X平台寫下，「阿莫戴是對的」。
Anthropic研究員辭職 警告AI可能在這十年內造成滅絕風險
本週稍早，Anthropic研究員考克森（Jacob Coxon）宣布辭職，他也曾任OpenAI研究人員，表示自己離開Anthropic，是因為擔心AI產業正在「拿我們的生命下注」。
他警告，開發AI的人「真心相信，到這十年結束前，AI可能會殺死我們所有人」。
延伸閱讀｜Anthropic安全研究員大實話：10年內AI滅絕全人類機率破10%
這類「AI可能導致人類滅絕」的說法雖然極端，但並不是AI研究圈第一次提出類似警告。2023年，包括阿莫戴與奧特曼在內的多名AI研究人員與產業領袖，就曾共同簽署聲明，認為降低AI導致人類滅絕的風險，應與疫情及核戰等大規模社會風險一樣，成為全球優先事項。
AI社群也長期使用「末日值」（p(doom)）一詞，指AI最終造成災難性結果、甚至人類滅亡的主觀機率估計。
