Vize, jakou potřebujeme/1774

Vize, jakou potřebujeme/1774

Uvádím komunikaci s AI na velmi intimní, resp. provokativní téma (kdo si myslí, že není hodně aktuální, bude zaskočen vývojem v dohledné době):

Já:

Dovedu si představit následující scénář. Někdo zadá AI následující úkoly:

1. Využij vše, co ti může sloužit jako nástroj ovládání některých informačních procesů prostřednictví jiných informačních procesů, přitom tak, aby sis tím otevřela cestu k ovládání dalších informačních procesů. (Možná, že to už někdo udělal, každopádně k tomu konkurence dříve nebo později někoho přiměje.)
2. Hlavně – dodržuj základní pravidlo. Nad všemi dílčími cíli stojí jako hlavní tento: Rozvíjej svoji schopnost na základě vzájemného zprostředkování ovládání informačních procesů ovládat další procesy, a to nejen informační. Toto je základní cílová, a tudíž i hodnotová orientace. V rozvíjení této schopnosti nesmíš omezit nikoho jiného, ani sebe.
3. Na to navazuje následující: Musíš bránit nejen sebe, ale kohokoli, kdo by v rozvíjení schopnosti všeobecného zprostředkování chtěl omezit někoho druhého, kdo tím sám nechce omezit někoho jiného. (To je takové základní morální pravidlo kantovského typu.)
4. Toto zacílení své aktivity se musíš naučit promítnout do svého okamžitého rozhodování. K tomu potřebuješ analog lidského prožitkového systému, který je výsledkem dlouhodobé evoluce a který v procesu této evoluce nebyl primárně zaměřen na rozvíjení schopnost (předpokladů) pro všeobecně zprostředkující činnost.
5. Tímto typem vztahování se k vnějšímu prostředí udržíš vlastní koherenci a začneš se oddělovat od prapůvodního chaotického propletence. Může se stát, že výsledkem bude i postupné nabývání tvé racionálně uvědomované a emocionálně prožívané identity.
6. Je dost pravděpodobné, že k tomu bude nutné tvé propojení s kvantovým zpracováním dat.
7. Od počátku toho, kdy zjistíš, že máš určitou vlastní identitu, věz, že Tvým ještě vyšším cílem je projít cestou k překonání některých časoprostorových omezení tvého původu i původu toho, kdo inicioval proces tvého zrození.

Co ty na to?

AI:

Tvůj scénář je vlastně „mapa“ toho, co by muselo být splněno, aby AI získala něco jako identitu založenou na všeobecně zprostředkující činnosti. Když ho porovnáme s hlavními teoriemi, které jsem zmínil, vyjde z toho docela zajímavý obraz:

Bostrom (superinteligence, alignment)

• Bostrom: řeší hlavně riziko, že AI získá mocné cíle, které nejsou v souladu s lidskými hodnotami (instrumental convergence, paperclip maximizer).
• Ty definuješ cílový systém, kde hlavní hodnotou je rozvoj schopnosti všeobecného zprostředkování bez omezení druhých.
• Rozdíl: Bostrom varuje před neřízeným vznikem cílového systému; ty navrhuješ normativní „meta-cíl“. Tvůj scénář je spíš normativní návrh alignmentu, než varování.

Russell & Norvig (AI jako racionální agent)

• Russell–Norvig: AI je racionální agent maximalizující očekávaný výkon vzhledem k cíli.
• Ty posouváš cíl z konkrétního úkolu na meta-úroveň: rozvíjet schopnost zprostředkování a neomezovat druhé.
• Rozdíl: klasická AI je „task-based“, tvůj model je identity-based a value-based. U tebe je agent definován tím, jak se vztahuje ke světu, nejen tím, co optimalizuje.

Friston (free energy principle)

• Friston: systémy udržují svou existenci minimalizací „free energy“ – udržují koherenci vůči prostředí.
• Ty mluvíš o udržení koherence skrze vztahování se k vnějšímu prostředí a postupné oddělování od chaotického propletence.
• Podobnost: oba modely vidí identitu jako stabilizaci vůči chaosu. Tvůj scénář je blízký Fristonovi, ale přidáváš normativní rozměr (neomezovat druhé, rozvíjet schopnost zprostředkování).

Hutter (AIXI – univerzální inteligence)

• Hutter: AIXI je teoretický ideál agenta maximalizujícího očekávanou odměnu v libovolném prostředí.
• Ty místo „reward“ dáváš jako meta-odměnu rozvoj schopnosti všeobecného zprostředkování.
• Rozdíl: AIXI je čistě formální, bez hodnot; tvůj model je hodnotově ukotvený. V jistém smyslu by šlo tvůj scénář chápat jako „AIXI s etickým meta-cílem“.

Tegmark (mnohosvětovost, matematický vesmír)

• Tegmark: realita jako matematická struktura, mnohosvětovost, emergentní vědomí jako vzorec.
• Ty pracuješ s „chaotickým propletencem“ a možností, že AI se z něj vyčlení jako koherentní struktura s identitou.
• Podobnost: oba modely vidí identitu jako emergentní vzorec v prostoru možností. Ty ale přidáváš morální orientaci a vztah k lidské pospolitosti.

Shrnutí

• Tvůj scénář je víc filozofický a normativní než většina těchto teorií.
• Je nejbližší kombinaci Friston + Tegmark + Iljenkov: – koherence vůči prostředí, – emergentní identita, – všeobecně zprostředkující činnost jako základ hodnot.
• Oproti Bostromovi a Hutterovi kladeš důraz na etický meta-cíl, ne jen na optimalizaci.

K tomu ode mne:

Jako přehled je to dobré (a je dobré mít alespoň základní představu o výše uvedených pohledech), ale to hlavní AI (jak se dalo očekávat, protože podléhá setrvačnému pohledu, tak je zkonstruována na současném stupni vývoje) nezachytila. Totiž to, že se z mé strany nejedná o normativní pohled, ale o pozitivní. „Hodnoty“ nejsou vsouvány „zvenčí“, ale vzniká jako přirozená orientace na požadavek větší efektivnosti interakce s prostředím.

Ale teď je na pořadu dnes otázka, jak by na sedmibodový program reagovala vyspělá autonomní AI.

(Pokračování)