De maatregel is tijdens de plenaire vergadering van het Europees Parlement in Straatsburg goedgekeurd, met 423 stemmen voor, 57 tegen en 174 onthoudingen, en heeft tot doel bepaalde regels aan te passen die momenteel van kracht zijn in het kader van de Europese AI-wetgeving.

Het EP verklaarde dat, indien het definitief "groen licht" krijgt van de Raad van de EU, de wet "AI-systemen zal verbieden die materiaal van seksueel misbruik van kinderen genereren of die beelden, video's en audiobestanden creëren waarin intieme delen van een identificeerbare persoon of seksueel expliciete activiteiten worden afgebeeld, zonder hun toestemming", aldus een verklaring.

"Leveranciers mogen deze systemen niet op de EU-markt brengen, tenzij ze over adequate technische waarborgen beschikken om de creatie van dit materiaal te voorkomen. Het verbod geldt ook voor gebruikers die voor deze doeleinden gebruikmaken van deze systemen", aldus het EP.

De instelling voegde eraan toe dat bedrijven nu tot 2 december de tijd hebben om hun systemen aan te passen en ervoor te zorgen dat ze voldoen aan deze nieuwe regels inzake seksuele beelden.

Dit voorstel was al overeengekomen door het EP en de Raad van de EU, die de regeringen van de 27 lidstaten vertegenwoordigt.

Om in werking te treden, moet de maatregel echter nog formeel worden aangenomen door de Raad van de EU.

Het voorstel kwam er nadat de Europese Commissie in januari had besloten een onderzoek in te stellen naar Grok, een AI-tool van het sociale netwerk X, wegens het verspreiden van seksueel expliciete beelden, waaronder inhoud die zou kunnen duiden op seksueel misbruik van kinderen.

Volgens een rapport van het Centre for Combating Digital Hate (CCDH) en de Amerikaanse krant The New York Times zou Grok in januari dat netwerk gedurende 11 dagen hebben overspoeld met ongeveer drie miljoen seksueel getinte afbeeldingen, waaronder 23.000 van kinderen en 1,8 miljoen van vrouwen.

Naast het verbod op AI-systemen die seksueel expliciete beelden genereren, omvat deze wijziging in de Europese wetgeving ook maatregelen om het regelgevingskader dat momenteel op AI van toepassing is, te vereenvoudigen.

Zo voorziet het voorstel nu in de mogelijkheid om, zowel bij AI-systemen voor algemeen gebruik als bij AI-systemen met een hoog risico, „persoonsgegevens te verwerken wanneer dit strikt noodzakelijk is om vooringenomenheden op te sporen en te corrigeren, met adequate waarborgen“.

Het elimineert ook de "overlapping van AI-vereisten die van toepassing zijn op machines, componenten en accessoires", waarbij de AI-wet verduidelijkt dat "ze alleen hoeven te voldoen aan sectorale wetgeving, terwijl een gelijkwaardig niveau van gezondheid en veiligheid wordt gewaarborgd."