以技術“操盤”淫穢犯罪？AI不是“法外之地”！

涉案App在社交媒體宣傳用戶創建的AI角色。圖源網絡

　　□中國婦女報全媒體記者黃婷

　　因為大量用戶在一款App上與AI智能體“聊黃”，App的主要開發和運營者因犯制作淫穢物品牟利罪，分別獲刑四年、一年六個月。

　　日前，上海市徐匯區人民法院的這則判決引發關注。此案成為國內首起AI服務提供者涉黃獲刑的案件。案件二審于1月14日下午在上海市第一中級人民法院開庭，法院未當庭宣判。

　　作為AI技術快速發展背景下的標志性司法案件，此案不僅聚焦了公眾對AI應用邊界的關注，更明確了AI領域涉黃犯罪的裁判邏輯與責任邊界。為此，中國婦女報全媒體記者專訪了法律界相關人士，從定罪核心依據、案件爭議焦點、風險規避與示范意義等方面，對該案進行詳細解讀。

　　突破大模型道德限制

　　檢方透露，2023年5月起，被告人王利、李成（化名）共謀，以公司名義創建軟件，在未經安全評估和備案的情況下，違規接入境外大語言模型，向用戶提供“聊天陪伴”服務。用戶在軟件注冊后，可以自行創建虛擬角色或者使用他人創建并公開的虛擬角色，通過軟件與大語言模型進行交互聊天。

　　在軟件運營期間，被告人王利、李成等人為了吸引用戶，通過編寫系統提示詞突破大語言模型的道德限制，實現了模型向用戶連貫輸出淫穢內容的可能，并且通過設定熱門角色榜單和作者獎勵機制，進一步擴大淫穢內容的傳播范圍。2023年11月起，被告人王利等人根據軟件連接的大語言模型和提供服務的不同，設置多個充值會員檔次。

　　北京華讓律師事務所律師張帆表示，刑法規定，制作淫穢物品牟利罪是指以牟利為目的，制作淫穢物品的行為。本案一審法院認為，涉案AI聊天軟件注冊用戶11.6萬人，付費用戶2.4萬人，截至案發，共收取會員充值費363萬余元，且經公安抽樣鑒定150名收費用戶的12495段聊天中，有141個用戶的3618段屬于淫穢物品，社會影響較大，達到構罪標準。

　　在北京市兩高律師事務所實習律師蔡照坤看來，本案的定罪認定存在三大關鍵要點：其一，主觀故意層面，開發者以牟利為目的，積極追求、主動促成色情內容的生成與傳播，具有明顯的直接故意；其二，客觀行為層面，開發者通過修改提示詞突破技術限制，將該AI軟件變為專門輸出淫穢內容的工具，并向用戶持續提供服務，該行為本質上是開發者的主觀意志借助技術工具的外化與實現；其三，責任主體層面，法院認定開發者對AI軟件的內容輸出具有實質性的控制能力，系該案件中淫穢物品的實際制作者，應承擔相應刑事責任。

　　開發者責任如何界定

　　本案在法律適用、淫穢色情內容生產者認定、AI“聊黃”是否有社會危害性等方面存在多重爭議，引發廣泛討論。

　　蔡照坤認為，本案的爭議核心在于責任主體的界定，即軟件開發者是否應當為軟件生成的淫穢物品承擔刑事責任。對此，判斷的關鍵不僅要看開發者開發軟件時的目的，是否自始便以“聊黃”為噱頭推廣軟件、吸納會員進行牟利，更要考慮開發者對淫穢內容的生成與傳播，是否具備實際、有效的管控能力。

　　除了責任主體界定，技術中立性抗辯的爭議也備受關注。蔡照坤表示，開發者常以“技術本身無罪”為由主張免責，但這顯然不能成為其脫罪的正當理由。“這一問題的探討始終要建立在責任主體認定的基礎之上：若已明確開發者的責任主體地位，便無再討論技術中立的必要——因為本案中開發者所制作的并非單純的聊天工具，而是被改造為專門用于生成淫穢內容、涉嫌實施犯罪的工具。”蔡照坤說。

　　此外，關于用戶與AI的一對一私密聊天是否具有社會危害性，也引發了諸多討論，但蔡照坤認為該問題與本案的實質爭議并無關聯。“本案的核心追責指向是開發者利用AI技術制作、傳播淫穢物品并牟利的行為，而非用戶與AI的私密聊天行為本身。”蔡照坤解釋，在本案中，兩名被告人的一系列行為，是導致案涉淫穢物品大量生成的主要原因，因此案中的AI工具，本質上應被認定為處于服務提供者掌控下的犯罪工具，用戶的相關輸入僅為該工具生成淫穢內容的觸發條件。

　　明確刑事責任邊界

　　跳出個案爭議，本案的判決明確了司法導向、劃定責任紅線，對于發揮社會示范作用、強化行業警示等亦有著重要的現實意義。

　　蔡照坤認為，該案具有重要的社會示范作用。他指出，該案明確“技術中立”絕非違法行為的“擋箭牌”，無論技術如何創新，利用新技術實施傳統犯罪，都必將受到法律的嚴厲制裁，為后續同類AI涉黃案件的審理、裁判確立了明確的司法標桿與導向，填補了AI領域相關刑事裁判的空白。

　　在引導行業發展方面，蔡照坤表示，該案深刻警示廣大AI從業者必須將倫理規范與法律底線置于技術開發的核心位置，摒棄“重技術、輕合規”的誤區，推動整個行業加快建立自我約束標準與合規體系，從源頭防范技術濫用風險，助力實現負責任、守底線的人工智能創新。

　　此外，該案也向社會公眾敲響警鐘。蔡照坤表示，AI技術并非“法外之地”，無論是AI開發者、平臺運營者，還是普通用戶，都需恪守法律規定、堅守行為底線。

　　“本案明確了AI服務提供者在涉黃內容治理中的刑事責任邊界。”張帆表示，過去在實踐中，AI平臺往往以“技術中立”“用戶生成內容不可控”為抗辯事由，但本案通過判決明確表明，如果服務提供者明知其AI系統被用于大規模、持續性地生成淫穢內容，仍然提供技術支持、接口或算力保障，便可能構成違法犯罪。“同時，本案對AI產業具有合規和治理層面的警示意義，它明確傳遞了一個態度，AI相關企業不僅要關注技術創新和商業效率，同時也要兼顧內容審核與風險防控。”

　　恪守法律規定堅守行為底線

　　基于該案的判決導向與法律邊界，AI開發者和普通網友應該如何規避此類法律風險？對此，蔡照坤與張帆給出了具體指引。

　　“對于AI開發者而言，合規運營應貫穿產品開發與迭代的全流程。”蔡照坤表示，開發初期，需嚴格遵守相關法律法規及監管要求，主動建立健全內容安全過濾機制，從源頭遏制不良內容產出。同時，應搭建完善的監控與應急處置機制，運用技術手段實時監測平臺內的異常使用行為，及時識別違規風險；設立便捷、高效的違法違規舉報渠道，明確處置流程與時限，確保發現違規內容后能夠快速響應、妥善處置。此外，需建立健全用戶約束機制，在用戶協議中清晰界定AI服務的禁止用途，明確告知用戶不得利用平臺服務生成、傳播違法違規內容，并詳細公示違規使用的相應后果，強化用戶的責任意識。

　　張帆則從合規依據層面給出提醒，她認為，目前AI領域已出臺《互聯網信息服務算法推薦管理規定》《生成式人工智能服務管理暫行辦法》《人工智能生成合成內容標識辦法》等相關規定，以及正在征求意見的《人工智能擬人化互動服務管理暫行辦法》，AI開發者要及時學習并做好企業合規。“AI雖然是新領域，但涉黃不是新問題，如果開發者明明能避免，卻任其發展，便要承擔相應的責任。”

　　除了開發者，普通用戶的風險規避同樣重要。在蔡照坤看來，普通用戶使用AI產品時應堅守法律底線，主動規避潛在風險。在輸入提示詞、與AI交互過程中，應摒棄好奇心或娛樂心態，杜絕使用涉及性暴露、性暴力等明顯違法違規的內容測試AI的“邊界”，避免因不當輸入觸發不良內容生成，進而承擔相應法律責任。“最為關鍵的是，無論何種場景，都不得傳播、分享AI生成的違法違規內容，自覺抵制不良信息，共同維護健康、清朗的網絡空間。”蔡照坤說。