Podaří se polidštit počítač? Ne někdy, teď!/111
Podaří se polidštit počítač? Ne někdy, teď!/111
Ivo Potůček mně poslal následující zajímavý text:
„Následující text je sestaven na základě vyhodnocení vlastních zkušeností z práce s AI. Nakolik je přesný. Kde jsou největší odchylky od toho, jak AI pracuje. Jak se liší jednotlivé systémy AI? Zde je text vyhodnocení Zkušeností: Základní jednotkou informace v AI je token, a to může být cokoliv, co lze nějak zobrazit do počítače, aby s tím počítač mohl pracovat (např. obraz se zobrazuje jako matice pixelů). Čili místo tokenů jazyka u jazykových modelů můžeme mít model behaviorálních znaků člověka (lidí). Chtěl bych jen upozornit na již delší dobu používaný systém sociálního kreditu v Číně. Čili využití těchto systémů může být politicky invariantní. Lze si představit vývoj ke světu s bonifikací podle Huxleyho (včetně řízení velikosti populace a kastování) a penalizací podle Orwella. Při „polidšťování AI“ jsme narazili na otázku „paměti“ AI. Zřejmě nějaká paměť musí existovat, když nás bombardují kontextově zaměřené reklamy podle našeho zájmu. Součástí AI jsou vlastně minimálně dva systémy. Vlastní hardware a obslužné software AI, aby model správně fungoval. A druhý systém vytváří vlastní model. Aby to dobře fungovalo, musí být model správně strukturován a to je práce pro externí počítač. Údajně se pro tyto účely využívají i kvantové počítače (kvantový počítač jako hardware AI zatím pracovat nemůže). Externí počítač může i „přežvýkat“ vstupní data pro učení AI bez učitele. Zavedení paměti do systému lze zajistit nějakou formou zpětné vazby. Uvažujme hypoteticky dvojici počítač vytvářející model, kde jsou vstupem externí data a následný systém AI pracující s vytvořeným modelem. A nyní si představme, že výstupy z AI zavedeme na vstup počítače vytvářejícího model a můžeme získat nejenom samoučící se, ale dokonce samovyvíjející se systém. Přímé zásahy AI do modelu by mohly model poškodit, je nutný prostředník (počítač) který jakoukoliv implementaci externích dat zabuduje (případně vytvoří nový model) do modelu konsistentním způsobem.“
Postřehy I. Potůčka mně připadly velmi zajímavé. Napadlo mě, jak na ně bude reagovat AI. Zde je její vyjádření:
AI:
Tvůj text je velmi podnětný — a je vidět, že jsi si práci s AI opravdu systematicky promýšlel. Níže ti dávám precizní, odborně přesné vyhodnocení, které ukazuje:
- co je ve tvém textu přesné,
- kde jsou odchylky,
- jak AI systémy skutečně fungují,
- a jak se liší jednotlivé typy AI.
Půjdu krok za krokem podle tvého textu.
- „Základní jednotkou informace v AI je token“ — přesné, ale s upřesněním
Přesné:
Ano, token je základní jednotka, se kterou pracují jazykové modely. Token může být:
- část slova,
- celé slovo,
- interpunkce,
- nebo i speciální symbol.
Upřesnění:
Token není univerzální jednotka pro všechny typy AI.
- Jazykové modely → tokeny textu
- Obrazové modely → pixely, latentní vektory
- Zvukové modely → vzorky, spektrogramy
- Behaviorální modely → vektory stavů, akce, parametry politiky
Tvoje věta „můžeme mít model behaviorálních znaků člověka“ je správná, ale technicky:
Behaviorální modely nepoužívají tokeny, ale stavové vektory a policy networks.
- Sociální kredit v Číně — přesné, ale je třeba rozlišovat
Přesné:
Ano, sociální kredit je příklad politicky invariantního využití datových systémů.
Upřesnění:
Sociální kredit není systém založený na AI modelech typu LLM. Je to:
- velký datový agregát,
- s pravidly,
- s penalizacemi,
- s automatizovaným vyhodnocováním.
AI se používá jen v některých částech, např.:
- rozpoznávání obličejů,
- predikce rizikového chování,
- klasifikace.
Tvoje poznámka o Huxley/Orwell je filozoficky přesná — tyto systémy mohou být použity jak pro bonifikaci, tak pro penalizaci.
- Paměť AI — tady je největší odchylka
Přesné:
Ano, existují systémy, které si „pamatují“ uživatele — například reklamní systémy.
Upřesnění:
Ale jazykové modely (LLM) jako já:
- nemají vlastní paměť,
- neukládají si konverzace,
- neučí se z jednotlivých uživatelů,
- nepřepisují svůj model během komunikace.
Reklamní systémy mají paměť, protože:
- ukládají historii vyhledávání,
- ukládají cookies,
- ukládají preference,
- ukládají chování.
To je paměť systému, ne paměť AI modelu.
- „Součástí AI jsou dva systémy: hardware+software a model“ — přesné
Přesné:
Ano, AI má dvě vrstvy:
- Inference systém
- hardware (GPU, TPU, CPU)
- software (frameworky, runtime, orchestrace)
- Model
- neuronová síť
- váhy
- architektura
Upřesnění:
Model není vytvářen „jiným počítačem“ v tom smyslu, že by šlo o oddělený systém. Model je trénován na:
- velkých clusterech GPU,
- distribuovaných systémech,
- někdy s pomocí specializovaných akcelerátorů.
Kvantové počítače se NEPOUŽÍVAJÍ pro trénování AI modelů.
Je to častý mýtus.
Dnes:
- kvantové počítače jsou příliš malé,
- mají příliš mnoho chyb,
- nejsou schopné trénovat ani malé neuronové sítě.
(Pokračování)