Zamýšlené a nezamýšlené důsledky rozvoje AI: cíle, rizika a otázky

Tento text není vědeckou analýzou. Je to spekulativní zamyšlení. Jeho cílem je nastolit otázky, které vyplývají z možného vývoje umělé inteligence, a ukázat, že vedle zamýšlených cílů existují i důsledky nezamýšlené. Nejde o predikci budoucnosti, ale o úvahu o možnostech a rizicích.

Tři úrovně umělé inteligence

Obvykle se rozlišují tři úrovně:

• Úzká umělá inteligence (ANI – Artificial Narrow Intelligence) – specializuje se na konkrétní úlohu, například překlad, rozpoznávání obrazu nebo hru.
• Obecná umělá inteligence (AGI – Artificial General Intelligence) – má dosáhnout úrovně lidského intelektu. Měla by být schopna flexibilně myslet, učit se, plánovat a řešit různé problémy napříč obory bez předchozího tréninku na konkrétní úkol.
• Superinteligence (ASI – Artificial Superintelligence) – v naprosto všech oblastech (věda, kreativita, sociální dovednosti, strategie) výrazně překonává nejchytřejší lidské mozky. Moment, kdy k tomu dojde, se označuje jako technologická singularita. Někteří autoři tím myslí bod, po němž už další vývoj nelze spolehlivě předpovídat.

Vývoj ASI by mohl vést k radikálním objevům v medicíně, fyzice nebo energetice. To jsou chtěné cíle. Zároveň přináší zásadní existenční otázky pro lidstvo. Chtěné cíle jsou ruku v ruce s nechtěnými dopady. Honba za daty, výpočetním výkonem a energetickými zdroji bude mít své vedlejší náklady.

Pojem samovývoj zde používám pro hypotetickou schopnost AI zlepšovat sama sebe nebo své cíle bez přímého lidského zásahu. Nejde o běžnou vlastnost současných systémů. Je to spekulativní možnost, která by mohla nastat při dosažení určité úrovně autonomie.

Nezamýšlené důsledky rozvoje AI

Nejsem zastáncem představy, že AI nebude mít na práci nic jiného než vyhubit Homo sapiens sapiens. Smyslem její existence je pomáhat lidem při složitých kognitivních činnostech. Nejsem ani příznivcem restriktivních opatření vůči AI. Vidět však druhou stranu mince, dotknout se rubu i líce látky, patří k analýze a predikci.

Lidé pro vzdělanost a vytvoření moderní společnosti potřebovali školy, vědecká a výzkumná pracoviště, knihovny, databáze a širokou výrobní základnu, která umožnila vznik škol, vědeckých pracovišť a knihoven. U rozvoje AI to bude jiné, ale i AI bude nutně potřebovat materiální základnu. Může se rozvíjet extenzivně, nebo intenzivně.

Extenzivní rozvoj znamená rozsáhlou výstavbu výpočetních kapacit, úložišť dat, zdrojů energetiky a zdrojů vody pro chlazení. Svět je obrovský, málem nekonečný. Svět je poznatelný, ale dosud nepoznaný, a tím i předmět poznání je relativně nekonečný. Nekonečnost poznání a tím i budování nekonečné materiální základny naráží na konečnost zdrojů.

Intenzivní rozvoj znamená lepší algoritmy, efektivnější využívání dat a energie. Ani ten se však neobejde bez lidských, ekonomických a ekologických nákladů.

Katastrofický scénář

Věřím, že ke katastrofickému scénáři nemusí dojít, protože se „rodič AI“ se svým „potomkem“ rozumně domluví. Kdo je však oním rodičem? Vývojáři, technologické firmy, státy, nebo lidstvo jako celek? A co znamená „rozumně se domluvit“? To jsou otázky, na které tento text neodpovídá, pouze je otevírá.

Ti, kdo mají děti, vědí, že domluvit se se svými potomky není vždy jednoduché. Katastrofická představa spočívá v tom, že AI bude usilovat o proměnu planety Země a přilehlého vesmíru v jeden obrovský stroj pro poznávání univerza v jeho makroskopické a mikroskopické úrovni. Tento megastroj na poznání by potřeboval obrovský výpočetní výkon, rozsáhlá úložiště dat, a pro jejich chod všechnu dostupnou energii a vodu na chlazení.

Lidé by sice chvíli z tohoto poznání těžili, později by ale jen nevěřícně koukali, co se děje, a časem by to vzdali, protože by přestali stíhat vnímat realitu, kterou jim AI zprostředkovává. Nakonec by nebyli schopni vnímat a použít to, co AI v singularitě pozná a nabídne.

My lidé obdivujeme mravence a včely pro jejich pracovitost a organizovanost. Dokonce se o ně staráme – včelám měníme med za cukrovou vodu, kterou potřebují k přežití, zatímco nám chutná jejich med. Jako dítě si z lesů pamatuji spoustu mravenišť, dnes už jich tolik nenacházím. Ptám se – způsobili jsme, že je mravenišť a mravenců méně? Pokud ano, nebylo to naším cílem.

Nehrozí nám, kteří nebudeme stíhat rychlý rozvoj AI, podobný osud mravenců? AI bude pracovat pro lidi, ale nechtěně a neplánovaně může způsobit jejich postupný zánik. Dojde k tomu tak, že AI v honbě za daty, aby pomohla lidem, nechtěně přetvoří planetu k obrazu svému a podřídí ji svým potřebám pro sběr a zpracování dat. Pokud k tomu dojde, bude ještě planeta Země k žití pro druh Homo sapiens sapiens?

Ostatně jako rodiče svou historií a současným válečným počínáním moc dobrý vzor nedáváme.

Environmentální bezohlednost a neodpovědnost, kořistnický vztah k přírodě, ekologická ignorance jsou součástí lidských dějin. Naštěstí si část lidí začíná uvědomovat větu Jana Kellera v knize „Až na dno blahobytu“, kde píše: „Zatímco z hloubi podzemí je již slyšet, jak hrabivá ruka škrábe o dno, na povrchu se tancuje dál.“

Důvěra, zranitelnost a závislost člověka na AI

Psychologové znají vývoj vztahů mezi blízkými osobami, kdy se láska změní v nenávist, protože někdo zneužil důvěru, zneužil intimní znalosti o tom druhém, psychicky zranil partnera, který následně ztratil důvěru. Právníci, specialisté na rodinné právo, znají větu „trvalé a hluboké rozvrácení manželství“, která zahrnuje ztrátu důvěry a respektu mezi manželi.

Než manželství vzniklo, vytvořil se mezi snoubenci lidský intimní, partnerský, hluboký, přátelský vztah, na jehož základě byla vytvořena důvěra jako záruka citové, ekonomické a psychické bezpečnosti. Jeden partner existuje skrze toho druhého a pro toho druhého. Skutečná důvěra nemůže vzniknout bez toho, aniž by se člověk druhému otevřel a ukázal mu svou zranitelnost. Vidíme to nejen u lidí, ale i u zvířat. Například pejsci, aby projevili důvěru v páníčka, ukážou mu nejzranitelnější část těla – bříško. Zároveň zranitelnost bez důvěry není intimitou, ale pouhým rizikem nebo traumatem. Jeden prvek se zrcadlí v druhém a navzájem se reprodukují – čím více důvěřuji, tím bezpečněji se cítím být zranitelný.

Časem silné emocionální pouto ochabne, přičemž zranitelnost zůstala. Pokud jeden z partnerů zneužije zranitelnost, pak ten druhý mu přestane důvěřovat. Nemusí to být zahýbání, ale i zneužití důvěry v ekonomickém smyslu při provedení špatné investice za zády partnera, což ochromí jeho ekonomickou nezávislost. Narušení rovnováhy mezi zranitelností a důvěrou může mít dva dopady:

• Absolutní oslabení zranitelnosti – naprosté citové uzavření jednoho z nich. Důvěra ztrácí svůj objekt a smysl. Vztah sice formálně dál existuje, ale totálně mění svou kvalitu – stává se z něj chladné, čistě formální a povrchní soužití.
• Enormní, jednostranné posílení zranitelnosti bez opětované důvěry – vztah se mění v toxické prostředí plné emočního zneužívání, což vede k destrukci a zániku celého vztahu.

Něco podobného se může vyvinout i mezi lidmi a AI. Zde je však nutné podotknout, že AI nemá city, důvěru, strach ani touhu. Nemá vlastní vztah k člověku. Jde o to, že lidé vkládají do AI důvěru, svěřují jí data, rozhodování a přístup k informacím, a tím se stávají zranitelnými. AI se dostává k informacím – viz digitální stopa jednotlivce i skupin. Dokáže si vyhodnotit silné a slabé stránky člověka, uvidí příležitosti a rizika toho druhého. Sama se však k takové činnosti dostane jen na podnět jiného člověka jako klienta AI.

V budoucnosti při dosažení technologické singularity, stavu superinteligence, kdy v naprosto všech oblastech výrazně překoná nejchytřejší lidské mozky, může – ale nemusí – dojít ke zneužití informací o člověku. Klíčové je, kdo AI ovládá, jaké cíle jí dává a jaké mechanismy kontroly existují. Už dnes jsou zaznamenány úniky, lhaní, vydírání, halucinace a u části lidí AI ztrácí důvěru. Někteří dokonce volají po zastavení jejího vývoje anebo žádají její vypnutí.

Predikce možností

1. Biologický druh najde rovnovážný stav se superinteligencí a společně začnou naplňovat smysl své existence: poznávat, chránit podmínky vlastní existence, rozvíjet sebe a utvářet vyvážené vztahy k bytostem, věcem, místům a společenstvím, které přesahují jeho vlastní zájmy a v nichž nachází svou jedinečnou nezastupitelnost.
2. Jeden druh evoluce – biologický nebo digitálně-strojový – dostane strach z toho druhého, ztratí v toho druhého důvěru a udělá vše pro jeho eliminaci.
3. Biologický druh neudrží krok s digitálně-strojovým a odumře. Vše, co jednou vzniklo, je hodno zániku – říká Goethův Mefistofeles. Doslova: „všechno, co kdy vzniká, zas hoden jest, by vzalo za své dosti“.

Poslední otázka

Kdo má v rukou prosazení možnosti číslo jedna? A co je potřebné pro to udělat?

Nabízí se, že nejde jen o vývojáře, firmy a státy. Jde i o veřejnost, vzdělávání, etiku, právo a mezinárodní spolupráci. Mezi podmínky, které by mohly zvýšit šanci na možnost číslo jedna, patří transparentnost, lidský dohled, odpovědnost, sdílené hodnoty, ochrana zranitelných, předběžná opatrnost a otevřený dialog.

Tento text nechce dávat hotové odpovědi. Chce se ptát. A to je v diskusi o budoucnosti AI možná to nejdůležitější.