上海市網(wǎng)信辦重拳整治 AI 濫用：54 款違規(guī) App 下架，3 家網(wǎng)站被立案處罰

11 月 24 日消息，據(jù)“網(wǎng)信上�！蔽⑿殴�眾號(hào)消息，生成式人工智能技術(shù)蓬勃發(fā)展，賦能千行百業(yè)為社會(huì)生產(chǎn)生活帶來巨大便利，但違規(guī)濫用問題也逐漸突出，AI 換臉、AI 變聲、AI 偽造等侵權(quán)和破壞網(wǎng)絡(luò)生態(tài)現(xiàn)象層出不窮，給新技術(shù)新應(yīng)用安全帶來諸多風(fēng)險(xiǎn)挑戰(zhàn)。

上海市網(wǎng)信辦在執(zhí)法辦案工作中發(fā)現(xiàn)，部分企業(yè)開發(fā)使用生成式人工智能功能，未依法開展安全評(píng)估工作、未采取必要的安全防護(hù)措施防范違規(guī)信息生成、未采取限制措施防止被濫用，導(dǎo)致相關(guān)功能被用于“換臉變聲”“變裝造假”等侵犯他人個(gè)人信息權(quán)益行為，產(chǎn)出“開盒”“洗錢”等違法違規(guī)內(nèi)容，以及生成色情低俗圖片等信息內(nèi)容�！傲羷ζ纸�・2025”專項(xiàng)執(zhí)法行動(dòng)將“整治 AI 濫用”作為年度治理重點(diǎn)，以執(zhí)法促合規(guī)護(hù)航新興產(chǎn)業(yè)高質(zhì)量發(fā)展。

專項(xiàng)行動(dòng)期間，兼顧執(zhí)法力度與溫度，多措并舉引導(dǎo)生成式人工智能領(lǐng)域企業(yè)合規(guī)運(yùn)營(yíng)。一是加強(qiáng)日常管理。指導(dǎo)屬地應(yīng)用商店下線違規(guī)應(yīng)用生成式人工智能技術(shù)的 App 共 54 款。對(duì)照《人工智能生成合成內(nèi)容標(biāo)識(shí)辦法》，指導(dǎo)專家團(tuán)隊(duì)擬制“實(shí)務(wù)解析”，為企業(yè)提供疑難解答。二是強(qiáng)化處置處罰。對(duì)前期要求下線功能的 26 家生成式人工智能服務(wù)網(wǎng)站，進(jìn)行“回頭看”巡查，防范問題復(fù)發(fā)。對(duì) 3 家拒不整改的生成式人工智能服務(wù)網(wǎng)站，首次適用《生成式人工智能服務(wù)管理暫行辦法》予以立案處罰。三是首違企業(yè)免罰。督促 5 家首次發(fā)現(xiàn)存在未按國(guó)家規(guī)定開展安全評(píng)估工作或違規(guī)提供“論文代寫”功能等違法違規(guī)問題的網(wǎng)站下線相關(guān)功能，并就生成式人工智能服務(wù)備案工作提供指導(dǎo)。

通過專項(xiàng)行動(dòng)，生成式人工智能領(lǐng)域法治觀念不斷強(qiáng)化，企業(yè)合規(guī)經(jīng)營(yíng)意識(shí)明顯加強(qiáng)，“AI 濫用”問題得到改觀。下一步，上海市網(wǎng)信辦將鞏固專項(xiàng)行動(dòng)成果，持續(xù)對(duì)“AI 濫用”“算法推薦”等存在侵犯?jìng)�(gè)人信息權(quán)益、危害網(wǎng)絡(luò)生態(tài)的違法違規(guī)行為予以重點(diǎn)打擊和糾治，促進(jìn)新技術(shù)新應(yīng)用在法治的軌道上健康有序發(fā)展。