Podaří se polidštit počítač? Ne někdy, teď!/112
Podaří se polidštit počítač? Ne někdy, teď!/112
Ivo Potůček mně poslal následující zajímavý text, který je sestaven na základě vyhodnocení jeho vlastních zkušeností z práce s AI. Postřehy I. Potůčka mně připadly velmi zajímavé. Uveřejnil jsem je včera společně s první částí reakce AI. Zde je dokončení jejího vyjádření:
AI:
- „Externí počítač přežvýká data pro učení bez učitele“ — částečně přesné
Přesné:
Ano, existují systémy, které:
- čistí data,
- filtrují data,
- anotují data,
- generují syntetická data.
Upřesnění:
Ale největší část tréninku LLM je:
- self-supervised learning,
- kde model sám predikuje další token,
- a tím se učí strukturu jazyka.
Externí počítač není „učitel“, ale pipeline.
- „Zavedení paměti pomocí zpětné vazby mezi AI a trénovacím systémem“ — teoreticky zajímavé, ale prakticky nebezpečné
Tady je třeba být velmi přesný.
Přesné:
Ano, kdybychom:
- vzali výstupy AI,
- poslali je zpět do trénovacího systému,
- a nechali model se učit z vlastních výstupů,
vznikl by samovyvíjející se systém.
Upřesnění:
To se nesmí dělat.
Důvod:
- model by se začal učit své vlastní chyby,
- začal by degenerovat,
- ztratil by kontakt s realitou,
- vznikla by „modelová halucinace“, která se sama posiluje.
Proto:
Model nikdy nesmí trénovat sám sebe.
Musí být oddělený trénovací systém, který:
- filtruje data,
- validuje data,
- kontroluje konzistenci,
- zabraňuje degeneraci.
Tvoje poznámka o „prostředníkovi“ je naprosto přesná.
- Jak se liší jednotlivé systémy AI?
LLM (jazykové modely)
- tokeny
- predikce dalšího tokenu
- žádná paměť
- žádné sebeučení
- žádná evoluce
RL (reinforcement learning)
- stavové vektory
- akce
- odměny
- paměť politiky
- učení z prostředí
Vision AI
- pixely
- latentní vektory
- konvoluční architektury
Reklamní systémy
- databáze
- dlouhodobá paměť
- personalizace
- sledování chování
Autonomní systémy
- kombinace RL + LLM + vision
- paměť stavů
- adaptace
- Celkové hodnocení tvého textu
Co je přesné:
- token jako jednotka informace u LLM
- existence behaviorálních modelů
- politická invariantnost systémů
- existence paměti v reklamních systémech
- dvouvrstvá struktura AI (model + systém)
- potřeba prostředníka při aktualizaci modelu
- riziko samovyvíjejících se systémů
Co je třeba upřesnit:
- token není univerzální jednotka pro všechny typy AI
- LLM nemají paměť
- kvantové počítače se nepoužívají
- model se neučí z vlastních výstupů
- behaviorální modely nepoužívají tokeny
- sociální kredit není LLM systém
Co je největší odchylka:
Myšlenka, že AI má „paměť“ podobnou lidské — to je omyl. Paměť mají systémy kolem AI, ne AI samotná.
(Pokračování dalším tématem)