隨着人工智能技術的迅猛發展，AI生成內容已越來越多出現在互聯網上，然而對AI技術的不當使用也頻頻引起社會關注。3月26日，抖音安全中心發佈不當利用AI生成虛擬人物的治理公告，指出將嚴格處罰違規使用AI生成虛擬人物發佈違背科學常識、弄虛作假、造謠傳謠的內容。
根據公告，此次抖音將重點治理利用AI生成假外國人、假精英及利用AI生成形象騙互動等三類內容：
一是生成境外虛假人設，消費愛國心理、博取關注。用虛假外國人的形象，以想嫁給中國、想到中國生活、評價社會事件等言論博取眼球。
二是生成俊男美女虛假形象，騙取互動，交友導流。直接稱用戶爲“你”“娘”“媽媽”“老公”等，發佈情感誘導、唱情歌、爲你謀福利等表達虛假情感的內容，將用戶導流至私人聊天工具，甚至進行詐騙。
三是生成精英人士虛假人設，發佈心靈雞湯、財商、僞國學、厚黑學、僞成功學等不良內容，低質吸粉，甚至引流到站外以賣課、入羣等方式獲利。
值得注意的是，除了封號等常規處罰手段，抖音此次在公告中特別提到了“平臺已掌握部分黑產團伙不當使用AI生成虛擬人物用於犯罪的線索，將報警打擊。”這種嚴厲的措辭在抖音過往的公告中並不常見，顯示抖音此次治理的力度或將相當大。