ChatGPT 所引發的一場 AI 革命席捲全球，在企業仍在討論 AI 對自己的利弊之時，黑客已經悄悄開始利用 ChatGPT 進行犯法行為。外國網路安全平台 GBHackers 披露了一宗借助 ChatGPT 行使詐騙的案件——黑客讓 AI 生成一整套欺詐對話的範本，並將 ChatGPT 包裝成虛擬角色，讓受害者以為自己「墜入愛河」，最終成功行騙。
詐騙者借助 ChatGPT ，只需幾秒就可以生成一套完整的「套路」：由自我介紹、聊天，到「深情款款」的情書都可以一鍵生成，甚至可以根據對象的性格、喜好進行個性化定制。之後黑客利用生成式 AI 快速創立一個虛擬角色，透過電子郵件引誘受害者「墜入愛河」，配合由 ChatGPT 輔助的收款程式或銀行卡資料連結，順利詐騙受害者錢財。
雖然 OpenAI 意識到 ChatGPT 被利用的情況，已經對其添加了安全保護機制，但依然有大批黑客取得了安全機制的破解方法，令網絡史上成長得最快的消費級應用程式 ChatGPT，變成了一杖巨型的定時炸彈。美國加利福尼亞州民主黨眾議員劉云平（Ted Lieu）公開表示對 ChatGPT 的憂慮，指「被人工智慧嚇壞了，尤其是不受限制和監管的人工智慧」。