Podělím se s vámi o jednu svou dávnou vizi: Svět je zaplněn inteligentními stroji a robotickými systémy – těží nerostné suroviny, vyvíjejí nové materiály i převratné technologie, zdokonalují sebe sama. Osidlují a „oživují“ další a další planety. Rozvíjejí kulturu i umění, bádají nad smyslem bytí. Dochází k průlomovým objevům. Velikou záhadou však zůstává vznik prvních strojů. Že by nějakou spontánní evolucí? Vyloučeno, tak složitá zařízení nemohla vzniknout sama od sebe. Na začátku muselo být něco, co první stroje stvořilo. Bytost, jež patrně na rozdíl od všeho jsoucího není vázána běžnými přírodními zákony, je vševědoucí a všemohoucí. Když stvořila první stroje, vdechla jim život a řekla: „Tvořte se a množte a naplňte vesmír. Podmaňte jej a panujte spravedlivě nad vším, co najdete.“

První úspěšný osobní počítač – IBM PC 5150 – byl uveden na trh v roce 1981. Od té doby se výkon počítačů zvýšil o několik řádů a stále jde rychle vpřed.

Výpočetní kapacita počítačů již je srovnatelná s výkonem lidského mozku a pravděpodobně ji brzy převýší. A potenciál technických systémů je oproti biologickým vyšší i v řadě dalších aspektů: předčí nás kapacitou pracovní i dlouhodobé paměti i rychlostí své práce.

• Zatímco axony nervových buněk vedou signál rychlostí zhruba 120 m/s nebo nižší a maximální frekvence, s níž neurony pracují, je zhruba 200 Hz, elektronická zařízení mohou komunikovat rychlostí světla (300 000 000 m/s) a jejich procesory pracují s frekvencí 2 GHz.
  
• Též plasticita softwaru i hardwaru je (potenciálně) mnohem vyšší: programy lze přepisovat, vylepšovat a nahrazovat a hardware lze teoreticky rekonfigurovat v závislosti na měnících se potřebách. Architektura biologických mozků je oproti tomu víceméně daná, jen synaptické propojení je proměnlivé.
  

Některé systémy UI (umělé inteligence) již dnes nedostávají přímé zadání od člověka, ale řeší problémy mezi sebou, učí se, samy hledají a nacházejí řešení. Například softwaroví roboti používaní při editaci Wikipedie komunikují mezi sebou a jsou schopni si práci navzájem neúnavně vracet a donekonečna opravovat jeden druhého.

Spektrum toho, co strojová kognice dokáže, je oproti naší kognici stále velmi úzké. Nicméně se rychle rozšiřuje a někteří badatelé nepochybují, že nastane den, kdy nás stroje předčí ve všem – a staneme se zbytečnými.

Zotročeni či vyhubeni

Mezi těmi, od nichž varování před nekontrolovaným vývojem UI zaznívá, jsou významní vědci, myslitelé i špičky v oboru informačních technologií; někteří z nich hovoří i o možnosti zotročení či vyhubení lidí.

Nick Bostrom, vyučující na Oxfordské univerzitě, líčí ve své knize Superinteligence několik scénářů, jak by mohla UI ukončit existenci lidstva.

Například: Pokud by si UI byla jistá, že ji lidé nemohou ohrozit, přímo by na nás útočit nemusela. Náš zánik by byl způsoben destrukcí našeho přirozeného prostředí, ke které by došlo, jakmile by UI začala s masivními projekty celosvětové výstavby, využívajícími nanotechnologické montéry a továrny. Tyto konstrukční projekty by celý povrch Země rychle (možná během dnů či týdnů) pokryly solárními panely, jadernými reaktory, závody se superpočítači a vysokými chladicími věžemi, odpalovacími zařízeními pro vesmírné rakety nebo jinými stavbami, jejichž prostřednictvím by se UI snažila maximalizovat celkovou míru, v níž jsou realizovány její hodnoty.

Není nic paradoxního na představě UI, jejímž jediným konečným cílem by bylo spočítat zrnka písku na ostrově Boracay, prodloužit desetinný rozvoj čísla pí nebo maximalizovat množství kancelářských sponek na světě, píše Bostrom a vysvětluje, že dostane‑li umělá superinteligence řídící výrobu kancelářských sponek za svůj konečný cíl maximalizaci výroby, hrozí, že v kancelářské sponky přemění nejprve Zemi a poté další části dosažitelného vesmíru…

K podobné chybě by přitom mohlo dojít, i kdyby cílem nebyla maximalizace výroby, ale určitý počet sponek, třeba jeden milion. UI by je totiž mohla donekonečna přepočítávat a kontrolovat – a za tím účelem vytvořit neomezené množství „kompjútoria“, výpočetního arzenálu, v nějž by opět přeměnila cokoli.

Nebezpečná hra

Stvořit UI s primitivními cíli je samozřejmě jednodušší než vybudovat mnohem komplexnější systém. Nepředpokládám však, že by UI schopná tak komplexní superinteligence vznikla za specifickým úkolem typu maximalizace výroby konkrétní továrny. Bostromův příklad však dobře ilustruje selhávání UI v tom, co nazýváme rozumem či moudrostí.

Ani složitější, či dokonce velmi komplexní cíle totiž nejsou imunní vůči logickým zkratkám. Bostrom například uvažuje UI, jejímž konečným cílem je „dělat radost zadavateli projektu“: Vše probíhá podle plánu – dokud se UI nestane dost chytrou na to, aby jí došlo, že svůj konečný cíl může úplněji a spolehlivěji uskutečnit tak, že implantuje elektrody do centra slasti v zadavatelově mozku.

V podobném duchu hovoří i vizionář a podnikatel Elon Musk: Stroje by podle něj mohly například dospět k názoru, že zbavit se nevyžádané pošty znamená zbavit se lidí, jejího zdroje.

Podle teoretického fyzika Stephena Hawkinga by u umělé inteligence, jež se bude vylepšovat bez lidského zásahu, mohlo dojít k tak rychlému vývoji, že ho nebudeme schopni ani chápat, a Bostrom nás přirovnává k dětem, které si hrají s bombou. Taková je naše naivita v kontrastu s mocí a nebezpečností hračky.

Nejsem odbornicí na umělou inteligenci. Tématu se věnuji z hledisek, jež jsou psychologicky zajímavá a mně blízká. V dalších článcích se zamyslím nad možností vzniku vědomí v umělých systémech a nad biocentričností a antropocentričností našich obav. Budu se se též věnovat našemu vztahu k UI.