De populariteit van ChatGPT en de opmars van generatieve AI-technologie hebben binnen de technologiegemeenschap aanleiding gegeven tot een debat over hoe gevaarlijk de technologie zou kunnen worden. Eerder dit jaar waarschuwden prominente AI-leiders van OpenAI, Google en Microsoft dat de technologie een bedreiging zou kunnen vormen existentieel gevaar voor de mensheid, vergelijkbaar met pandemieën of kernwapens. Andere AI-onderzoekers hebben gezegd dat de focus op die grote, angstaanjagende risico’s bedrijven in staat stelt zich af te leiden de schadelijke gevolgen die de technologie al heeft. Een groeiende groep AI-bedrijfsleiders zegt dat de risico’s overdreven zijn, en dat zouden bedrijven ook moeten doen vooruit opladen met het ontwikkelen van de technologie om de samenleving te helpen verbeteren – en er geld mee te verdienen.

OpenAI heeft een middenweg in dit debat gevonden in zijn publieke houding. CEO Sam Altman zei dat hij gelooft dat er ernstige langetermijnrisico’s verbonden zijn aan de technologie, maar dat mensen zich ook moeten concentreren op het oplossen van huidige problemen. Regelgeving om de schadelijke gevolgen van AI te voorkomen magazine het voor kleinere bedrijven niet moeilijker maken om te concurreren, zegt Altman. Tegelijkertijd heeft hij dat ook gedaan dwong het bedrijf om te commercialiseren zijn technologie en zamelde geld in om een ​​snellere groei te financieren.

Madry, een ervaren AI-onderzoeker die leiding geeft aan MIT’s Middle for Deployable Machine Studying en mede-leider is van het MIT AI Coverage Discussion board, sloot zich eerder dit jaar aan bij OpenAI. Hij behoorde tot een kleine groep OpenAI-leiders die ontslag namen toen Altman in november door de raad van bestuur van het bedrijf werd ontslagen. Madry keerde terug naar het bedrijf toen Altman dat was vijf dagen later hersteld. OpenAI, dat wordt bestuurd door een non-profitorganisatie met als missie het bevorderen van AI en het nuttig maken ervan voor alle mensen, is bezig met het selecteren van nieuwe bestuursleden nadat drie van de vier bestuursleden die Altman hebben ontslagen, zijn afgetreden als onderdeel van zijn terugkeer.

Ondanks de ‘turbulentie’ van het leiderschap zei Madry dat hij gelooft dat het bestuur van OpenAI de risico’s van de AI die hij onderzoekt serieus neemt. “Ik realiseerde me dat als ik echt vorm wil geven aan de manier waarop AI de samenleving beïnvloedt, waarom ik dan niet naar een bedrijf zou gaan dat het ook daadwerkelijk doet?”

Het paraatheidsteam huurt nationale veiligheidsexperts van buiten de AI-wereld in die het bedrijf kunnen helpen begrijpen hoe om te gaan met grote risico’s. OpenAI begint gesprekken met organisaties, waaronder de Nationwide Nuclear Safety Administration, die toezicht houdt op nucleaire technologie in de Verenigde Staten, om ervoor te zorgen dat het bedrijf de risico’s van AI op passende wijze kan bestuderen, zei Madry.

Het crew zal in de gaten houden hoe en wanneer de AI mensen kan instrueren computer systems te hacken of gevaarlijke chemische, biologische en nucleaire wapens te bouwen, verder dan wat mensen through regulier onderzoek on-line kunnen vinden. Madry is op zoek naar mensen die “echt denken: ‘Hoe kan ik met deze regels rotzooien?’ Hoe kan ik het meest vindingrijk zijn in mijn kwaadaardigheid?’”

Het bedrijf zal ook “gekwalificeerde, onafhankelijke derde partijen” van buiten OpenAI toestaan ​​om zijn technologie te testen, zo stond er in een blogpost van maandag.

Madry zei dat hij het niet eens was met het debat tussen AI “doomers” die vrezen dat de technologie al het vermogen heeft bereikt om de menselijke intelligentie te overtreffen, en ‘accelerationisten’ die alle belemmeringen voor de ontwikkeling van AI willen wegnemen.

“Ik vind deze opvatting van versnelling en vertraging echt extreem simplistisch”, zei hij. “AI heeft heel veel voordelen, maar we moeten ook het werk doen om ervoor te zorgen dat de voordelen daadwerkelijk worden gerealiseerd en de nadelen niet.”