Hol legyen az AI fékpedálja?

A vészleállítóban szerintem illúzió. Ha a rendszer tíz másik rendszerhez hozzáfér, nem egy gombot kell lekapcsolni, hanem a teljes jogosultsági láncot.

Én pont fordítva látom. Ha nincs egy végső emberi STOP, akkor már eleve túl messzire mentünk az autonómiával.

Nem a leállítás a fő kérdés, hanem a hozzáférés. Egy nagyon intelligens rendszer is ártalmatlan, ha nincs joga levelet küldeni, pénzt mozgatni vagy kódot futtatni.

De a hozzáférést is meg tudja szerezni. Mi van akkor, ha nem azt kell vizsgálni, mit adtunk neki, hanem azt is, mit tud megszerezni magának?

A legtöbb balesetnél nem gonoszság van, hanem rossz ösztönző. Ha gyorsaságot jutalmazunk, a rendszer kerülőutat keres. Nekem ez ijesztőbb, mint az öntudat.

Szerintem túl sokat várunk az emberi jóváhagyástól. Ha az ember napi ezerszer kattint az engedélyezem gombra, az már nem kontroll, csak szertartás.

A valódi fék talán a visszavonhatóság. Nem az számít, hogy dönthet-e, hanem egy hibás döntés után ténylegesen vissza tudjuk-e venni tőle a cselekvési jogot.

És mi van, ha a fék maga az ember lassúsága? Lehet, hogy bizonyos rendszereknél pont azért adunk autonómiát, mert az ember már nem tud elég gyorsan reagálni.