人工知能（AI）を用いて実在の人物の写真を加工し、身体の露出を含む形に改変して拡散する行為が、特に10代の若者に深刻な精神的被害を引き起こしている。6日付のドイチェ・ヴィレ（DW）など（1）（2）が報じた。
リオ市では15歳の少女がSNSに投稿した写真を、同級生が無断でAIを駆使してポルノ画像に加工し、拡散させた結果、少女は精神的ショックを受け、転校せざるを得なくなった。少女の母親は「娘が大泣きしながら打ち明けてきた時、私たちは何も知らずショックだった。幼い頃から娘と一緒だった子が、まさかそんなことをするなんて想像もできなかった」と語った。
同様のケースは大人にも及んでいる。暗号通貨の専門家ラファエラ・フェラーリ・クレイさんは、AIで加工された自身のポルノ画像が送られ、拡散させないためにビットコインを支払うようゆすられたという。彼女はその要求を拒否し、画像の不自然さに気づいた後、フォロワーにその事実を公表した。
18歳の男性が、AIを使って友人女性らの写真を加工し、ポルノサイトに公開していたケースも発覚している。被害者らは、自分たちがSNSで公開していた何気ない写真が、2年間にわたり無断で加工され、性的なコンテンツとして流出していたことを知らされ、ショックを受けた。（3）
AI技術を活用して作成されるディープフェイクポルノは急増し、特に若者の間で問題になっている。SNS上に公開される個人の画像が増加していることや、画像を改変するためのアプリやウェブサービスが普及しており、専門知識を持たない人でも簡単に他人の画像を加工できるようになったことが背景にある。
ブラジルの現行法では、許可なく他人の画像を加工して広める行為は違法で、特に性的な内容の画像の無断加工は刑罰の対象となる。刑法第216―B条では、性的意図で画像を加工して広めることを犯罪とし、罰則は6カ月〜1年の懲役と罰金となる。また、未成年者が関与する場合は、児童・青少年法第241条に基づき、1〜3年の懲役が課せられる。
これに関連して、連邦下院は19日、AIやその他のデジタル技術を用いて偽のヌード画像や性行為の画像を作成・公開することを犯罪とする法案を可決した。この法案は、刑法を改正し、懲役2〜6年と罰金を科す内容で、被害者が女性、子供、高齢者、障害者などの場合や、画像がSNSやデジタルプラットフォームを通じて大量に拡散された場合、刑罰が最大2倍に増加する。現在は上院での審議を待っている段階だ。（4）
ただし、法律だけでこの問題に対処するには限界があり、専門家はプラットフォーム運営者の責任を問うことが重要だと指摘。「SNSやウェブサービスはこうした不正な画像生成の拡散を未然に防ぐため、より厳格な監視体制を導入すべきだ」という意見が多い。
教育機関や家庭でのデジタルリテラシー教育が不可欠だともされている。若者たちに対してSNSやネットでの個人情報や画像の取り扱いに対する責任を教え、AI技術のリスクについても理解を深める必要がある。さらに被害に遭った場合には証拠を保存し、早急にプラットフォームで報告し、警察に通報することが推奨されている。
