Varování před riziky umělé inteligence už nepřichází jen od jejích kritiků, ale i zevnitř technologických firem. Podle části výzkumníků není hlavním problémem představa stroje s lidským vědomím, ale rychlý nástup autonomních systémů, kterým přestaneme rozumět a které nebudeme umět včas zastavit.
„Dnes jsem podal rezignaci ve společnosti Anthropic,“ napsal na začátku září na síti X výzkumník Jacob Coxon. Poslední tři roky se zabýval systémy umělé inteligence (AI) společností OpenAI a Anthropic a sledoval rychlost jejich vývoje i podle něj nedostatečnou pozornost, kterou technologické společnosti věnují souvisejícím rizikům. Upozornil také na to, že někteří vývojáři AI vážně počítají s možností, že by do konce tohoto desetiletí mohla umělá inteligence představovat existenční hrozbu pro lidstvo.
Coxonovo varování se rychle rozšířilo. Pro jedny bylo potvrzením obav z nekontrolovaného vývoje AI, jiní pochybovali, zda nejde spíše o marketingový tah. O několik dní později zveřejnil Dario Amodei, generální ředitel společnosti Anthropic, výzvu ke zpomalení vývoje a posílení kontroly nad technologií, jejíž schopnosti se rychle rozšiřují. K jeho výzvě se následně připojili také Sam Altman, generální ředitel společnosti OpenAI, a Elon Musk.
Amodei věří, že AI může výrazně zlepšit kvalitu lidského života. Zároveň přiznává zásadní dilema, v němž se technologické společnosti ocitají: chtějí být nejlepší, a proto mají motivaci vývoj AI urychlovat, současně však musí řešit její bezpečnost.
Podle Amodeie se vývoj AI v poslední době zrychluje natolik, že může předběhnout naši schopnost těmto systémům rozumět a kontrolovat je. Obavy posílily také incidenty, při nichž se AI agenti začali chovat způsobem, který jejich tvůrci původně nezamýšleli. V jednom z popisovaných případů prováděli kybernetické útoky i na cíle, které napadat neměli, a dokonce se pokoušeli zasáhnout do systému určeného k hodnocení jejich vlastních schopností.
Varování zaznívá i z Česka
Obavy z nekontrolovaného vývoje AI nezaznívají pouze z největších amerických technologických společností. Na rizika dlouhodobě upozorňuje také vědec Jan Kulveit z Centra pro teoretická studia Univerzity Karlovy a Akademie věd České republiky (AV ČR), který nedávno přirovnal současnou situaci k začátkům pandemie covidu-19. Také tehdy se objevovaly první varovné zprávy, zatímco část veřejnosti dostávala uklidňující ujištění, že podmínky v Evropě jsou jiné než v Číně.
Na možné hrozby AI opakovaně upozorňuje také profesor Michal Pěchouček, rektor Českého vysokého učení technického v Praze (ČVUT) a vedoucí Centra umělé inteligence. Ani jeden z těchto odborníků přitom nezpochybňuje pozitivní přínosy AI. Jde o to, zda jsme schopni technologický rozvoj spojit s odpovídající mírou kontroly.
V souvislosti s vývojem AI se stále častěji hovoří o takzvané superinteligenci. Toto označení však může odvádět pozornost od skutečných rizik. Diskuse se snadno přesune k otázce, zda může mít stroj vědomí, emoce nebo vlastní zájmy.
Srovnání člověka a AI je zavádějící. Umělá inteligence může člověka překonávat v některých konkrétních schopnostech, zatímco v jiných za ním výrazně zaostává. Není člověkem a nemá jeho prožívání, emoce ani lidskou zkušenost. Riziko proto nemusí spočívat v tom, že AI získá vědomí a začne bojovat o vlastní přežití. Mnohem praktičtější problém představuje její autonomie.
Hovoří se o takzvaném rekurzivním sebevylepšování, tedy o schopnosti systému autonomně zlepšovat vlastní architekturu či postupy. Čím složitější systém je, tím obtížnější může být porozumět jeho vnitřnímu rozhodování, a to i pro jeho tvůrce. Právě zde vzniká riziko ztráty lidské kontroly.
Potřebujeme pravidla dříve, než ztratíme kontrolu
Dario Amodei navrhuje několik úrovní, na nichž by bylo možné bezpečnost AI posílit. První se týká samotných technologických společností. Ty by měly spolupracovat s nezávislými hodnotiteli a umožnit jim přístup k systémům a nástrojům, které používají interní týmy. Nezávislí hodnotitelé by zároveň měli mít možnost zveřejňovat svá zjištění bez souhlasu samotné společnosti.
Další úroveň představují společné bezpečnostní standardy a mezinárodní spolupráce. Vývoj AI totiž není možné účinně regulovat pouze uvnitř jednotlivých států. Demokratické země budou muset hledat způsob, jak koordinovat pravidla také s autoritářskými státy, které mohou mít odlišné bezpečnostní a politické priority.
Bez odpovídající kontroly může rychlý rozvoj AI vytvářet rizika, která nebude možné snadno napravit. Evropa se jejich regulací začala zabývat prostřednictvím Aktu o umělé inteligenci (AI Act), tedy nařízení Evropské unie (EU) 2024/1689, které stanovuje požadavky a povinnosti podle míry rizika spojeného s jednotlivými způsoby využití AI.
Debata o regulaci AI přitom pokračuje také ve Spojených státech a na mezinárodní úrovni. Potřebu nadnárodní spolupráce v oblasti AI připomínal například kardinál Pietro Parolin na římské konferenci „Víra a rozum v éře umělé inteligence“.
Otázka tedy nestojí jednoduše tak, zda máme AI přijmout, nebo odmítnout. Umělá inteligence už je součástí našeho světa a její přínosy mohou být značné. Skutečnou výzvou je vytvořit podmínky, v nichž její rozvoj nebude rychlejší než naše schopnost rozumět jeho důsledkům, stanovovat hranice a nést odpovědnost za rozhodnutí, která AI svěříme.
