Колишній керівник Google Ерік Шмідт поговорив у Києві із Занні Мінтон Беддос, головною редакторкою The Economist, про війну в Україні, технологічні перегони США й Китаю та людський контроль над ШІ. Інтерв'ю відредаговано на основі наданих розшифровок: прибрано повтори й помилки розпізнавання мовлення, зі збереженням діалогу та позицій співрозмовників. Редакційна примітка: у розшифровці Flamingo компанії Fire Point названо балістичною ракетою; виробник описує її як крилату ракету. Класифікацію з розшифровки позначено у відповіді нижче.
Росія наздоганяє Україну в інноваціях
Занні Мінтон Беддос: Вас знають як одного з батьків сучасної Кремнієвої долини, колишнього керівника Google, а тепер – наставника й інвестора революції ШІ. Але ви також займалися інноваціями у сфері національної безпеки й відіграли надзвичайно велику роль в Україні: створювали й масштабували компанію з виробництва дронів, часто відвідували фронт. Під час цієї поїздки я побувала у штабі Nemesis, однієї з українських бригад безпілотних систем. Там можна побачити майбутнє війни, і воно доволі антиутопічне.
Ерік Шмідт: Війна – це справді жахливо, і тепер я побачив її на власні очі. Вона набагато гірша, ніж ви уявляєте, якщо дивилися фільми про війну. Бачити, як насправді вбивають людей, як вони страждають, смерть і руйнування міста, літніх жінок, яких убивають росіяни, – це жахливо.
Метою має бути припинення цього. Єдиний відомий мені спосіб зупинити агресора – дати відсіч. Ці нові технології мають наступальні й оборонні версії. Росія та Україна в цьому нещасливому поєднанні винаходять це майбутнє.
Занні Мінтон Беддос: Донедавна я вважала, що Україна має перевагу в інноваціях. Але нещодавно ви написали у The Washington Post, що занепокоєні більше, ніж будь-коли від перших днів вторгнення. Ви сказали, що Росія рухається до тотальної війни й послаблює інноваційну перевагу України. Що ви мали на увазі?
Ерік Шмідт: Я займаюся цим понад три роки. Я бачив, як неймовірно тяжко працюють українці, щоб створювати інновації. Вони здебільшого втримали фронт, заплативши за це величезну ціну. Ми завжди виходили з того, що Україна – новатор, а Росія велика й повільна. Щось змінилося. Тепер Росія вдосконалюється приблизно з тією самою швидкістю, що й Україна, але має значно більше ресурсів.
Ось факти, на які я спираюся. У нас немає ефективного способу протидіяти балістичним ракетам, які використовує Росія. Протиракет, широко відомих на Заході як Patriot, так мало, що на всіх їх не вистачає.
Росія також поєднала дві інновації й створила реактивні "шахеди", які літають країною та завдають масштабних руйнувань далеко від фронту. Говорять про велику мобілізацію, а це означало б, що проти України воюватиме більше російських солдатів. Протидіяти цьому було б дуже важко. Десь наступного року очікують появи нової супутникової мережі, подібної до Starlink, під назвою "Рассвет". Нарешті, Росія створює дуже потужні плануючі авіабомби з індивідуальним наведенням, які не дають лінії фронту зрушити й убивають багато людей.
Україна могла б упоратися з будь-якою однією з цих загроз. На мою думку, подолати всі п'ять без допомоги Заходу буде майже неможливо. Якщо точніше, Україні потрібні гроші. Росіяни зупинили всю її торгівлю та роботу портів. Їй потрібні гроші, буквально гроші. По-друге, їй потрібна допомога з масштабуванням. Українцям вистачає мужності, щоб перемогти або продовжувати боротися, але бракує можливостей для масштабування.
Реактивні "шахеди" та супутникова проблема
Занні Мінтон Беддос: Росіяни взяли іранський дрон "Шахед", який тепер виробляють у величезних кількостях, і додали реактивний двигун. Наскільки я розумію, це означає, що дрони літають швидше й вище, і їх набагато важче перехопити. Наскільки близька Україна до розв'язання цієї проблеми?
Ерік Шмідт: Щонайменше п'ять компаній в Україні розробили рішення, які зараз випробовують. Це має статися скоро. Але це була важлива подія у війні, і я не передбачив її повною мірою. Я вважаю себе відповідальним за це.
Ми знали, що Росія додасть невеликі реактивні двигуни, які можна отримати з Китаю. Ми думали, що вона встановить їх приблизно на 10% дронів, які постачатиме, і що ми зможемо з цим упоратися. Росія прискорила їхнє впровадження, і тепер вони стоять на більш ніж половині "шахедів". Але вона зробила ще дещо.
На щастя, Росія не має доступу до аналога Starlink для використання в Україні. Тому вона побудувала mesh-мережу з китайських компонентів. Зазвичай два "шахеди", наприклад, кружляють між Білоруссю та Києвом і працюють як ретранслятори. Завдяки цим ретрансляторам росіяни бачать відео цілі у 8K. Зовсім поруч вони змогли влетіти в центральне вікно штаб-квартири СБУ, українського аналога ЦРУ. Це попередження про те, на що здатні ці системи.
Є повідомлення про плани використати до 80 000 таких реактивних "шахедів" проти Києва та інших міст відтепер і до кінця грудня. Це велика проблема. Уряд тут приділяє їй дуже пильну увагу. Я знаю про кілька розробок, які, ймовірно, спрацюють.
Занні Мінтон Беддос: Ви згадали, що Росія, можливо, близька до створення власної версії Starlink – "Рассвет". Наскільки близька? Схоже, це може докорінно змінити ситуацію.
Ерік Шмідт: Є свідчення, що вони вже почали запуски, і свідчення, що мережа поки не працює. На мою особисту думку, до її появи, ймовірно, ще рік, тому що такі мережі важко будувати.
Коли ця мережа запрацює, заблокувати її буде практично неможливо. Це означає, що Росія знову зможе полювати на цілі будь-де в Україні. Зараз Україна не може використовувати Starlink, щоб полювати на цілі всередині Росії. Уявіть, якої шкоди ці країни могли б завдавати одна одній, якби обидві мали таку можливість. Один із найвищих пріоритетів України – удари по російських нафтових об'єктах. Вона робить це, фактично не бачачи, що саме робить. Уявіть, наскільки смертоноснішими могли б стати її удари по російській нафтовій інфраструктурі.
Занні Мінтон Беддос: Українські командири постійно запитують, чому вони не можуть використовувати Starlink на території Росії. Зазвичай це питання виникає в контексті балістичних ракет, які завдають величезної шкоди й тероризують українські міста. Якщо ви не можете влучити у стрілу, чому б не націлитися на лучника? Чому ніхто не може переконати Ілона Маска дозволити використовувати Starlink у Росії для цієї мети? Чи була б це добра ідея?
Ерік Шмідт: Я підтримую надання Україні інструментів, щоб завершити війну силою, зупинити російську агресію. Ваше питання насправді стосується політичного рішення, рішення уряду. Уряд США має взятися за розв'язання цього питання.
Найважливіше зараз – зробити так, щоб інноваційний цикл України не поступався російському або перевершував його, і забезпечити масштаб. Україна не має ефективних протиракет. У неї є одна ефективна балістична ракета [так у розшифровці] – так звана Flamingo компанії Fire Point, яка добре себе показала. З різних причин, пов'язаних із масштабуванням виробництва, Україна не може виробляти їх багато. Українського аналога реактивного "шахеда" теж немає. Люди працюють над цими проблемами.
Занні Мінтон Беддос: Ви кажете, що це політичне рішення. Тобто все залежить не лише від пана Маска – це мало б бути політичне рішення у Сполучених Штатах?
Ерік Шмідт: Знову ж таки, я припускаю. Що я можу сказати точно: немає технічного обмеження, яке заважало б використовувати ці супутникові сервіси над будь-якою країною. Супутники не припиняють працювати над Росією через географію. Можна отримати той самий результат, якщо вирішити, що вони літатимуть над Росією, і ввімкнути їх. Наскільки я розумію, політика SpaceX полягає в тому, щоб цього не робити. Як її змінити – політичне питання.
Занні Мінтон Беддос: Отже, SpaceX могла б це зробити або її могли б попросити про це, якби було таке політичне рішення?
Ерік Шмідт: Їй могли б це наказати. В американській системі президент може наказати приватній компанії вжити заходів заради національної безпеки, і компанія фактично мусить підкоритися.
Занні Мінтон Беддос: Ви б виступали за це?
Ерік Шмідт: Загалом так.
Машинний зір – не те саме, що ШІ, який навчається
Занні Мінтон Беддос: Це виклики, з якими Україна стикається зараз. Але попереду ще більші технологічні інновації, особливо у сфері ШІ. Існує певне непорозуміння щодо того, як ШІ використовують у цій війні. Наскільки я розумію, насправді застосовують добре відому технологію машинного зору для наведення на кінцевій ділянці. Чи могли б ви пояснити різницю?
Ерік Шмідт: Почнімо із солдата, рушниці й кулі: солдат цілиться. На певному етапі має бути відносно нескладно зробити так, щоб рушниця бачила й розпізнавала ціль за допомогою лазера чи іншої системи. Тоді людина натискає кнопку, і рушниця завжди влучає.
Цю аналогію можна поширити на більший рівень автономності. Цілком обґрунтовано очікувати, що кожна зброя матиме автономне наведення на кінцевій ділянці: вона близько до цілі, приблизно на правильному курсі, і ви натискаєте кнопку, щоб вона влучила точно. Усе це не ШІ. Це якісна інформатика й інженерія.
Штучний інтелект – це системи, які навчаються. Як і ми, вони розумнішають і вдосконалюють себе. Технічний термін – рекурсивне самовдосконалення. Ми лише починаємо бачити використання ШІ у війні.
Є велике дослідження, засноване на витоку службових записок, про те, як Росія використовує китайські моделі для ухвалення певних рішень. Я не знаю, що з цього правда. Україна застосовує це порівняно мало. Її Міністерство оборони обговорювало проєкт, покликаний допомогти автоматизувати планування війни й того, куди спрямовувати людей. Знову ж таки, це лише початок.
Як фахівцю з інформатики, мені майбутнє видається доволі очевидним. Візьміть усю інформацію, яку маєте, – з відкритих джерел, власну закриту й цілком таємну, – завантажте її в один великий комп'ютер і запитайте, що відбувається. Дайте великим мовним моделям використовувати інструменти для міркування. Мене захоплює те, що вони можуть мислити на такому рівні. Вони мислять не як люди – їхні міркування підпорядковані меті.
Зрештою ви запитуватимете, як найкраще розмістити свої сили й засоби для досягнення мети, наприклад, перемоги у війні чи оборони міста. Але цікавіші питання такі: чому я програю? Чому ця група працює гірше за іншу? Ви хочете, щоб система передбачала проблеми й казала: "Генерале, у вас проблема. Ось рішення, яке ми рекомендуємо. Можемо допомогти?" Я думаю, ми рухаємося саме до цього.
Занні Мінтон Беддос: У попередній програмі з моїм колегою Шашанком Джоші Джек Вотлінґ із RUSI сказав, що багато солдатів в Україні вимикають цей машинний зір на кінцевій ділянці, тому що він працює гірше за оператора-людину. Чому?
Ерік Шмідт: Це називається помилкою в програмі. Я літаю на власному реактивному літаку. Загальне правило – проходити кінцеву ділянку в режимі автоматичного керування, щоб літак сам знижувався до точки посадки. Я волію вимикати цей режим, бо мені цікавіше самому керувати літаком.
Занні Мінтон Беддос: Але ви не в окопі в Україні.
Ерік Шмідт: Я не на війні. Якщо наведення на кінцевій ділянці працює гірше за людину, це помилка в програмі.
Я був в оперативному центрі неподалік ядерного реактора, коли українці вирішили вдарити по військовій цілі. Вони використали американський Switchblade 600. Ми дивилися, як він захопив ціль і промахнувся. Вони сказали, що можуть спробувати застосувати HIMARS один раз на день. Вони здійснили пуск, ми почекали, але влучити в ціль знову не вдалося. Чому? Глушіння.
Можливо, в тому окремому випадку, про який ви розповіли, людина добре бачила ціль, але глушіння тривало. Це помилка в програмі, і тепер ми знаємо, як її виправити. Важливо те, що наведення на кінцевій ділянці – на останньому етапі – є вирішальним для високоточних атак.
Одна цікава особливість цієї нової форми війни – майже немає ненавмисної шкоди цивільним, тому що зброя настільки точна. Інший жахливий факт – майже немає поранень, після яких можна вижити: дрони настільки небезпечні, що солдати, яких вони атакують, гинуть.
Людина має й надалі брати участь в ухваленні військових рішень
Занні Мінтон Беддос: Що станеться, коли тут з'явиться справжній ШІ – здатність міркувати, робити висновки й навчатися, яку ми обговорюємо у Кремнієвій долині? Що це означатиме для автономності у війні? ШІ міг би радити генералу, пропонувати план бою і зрештою виконувати його автономно.
Ерік Шмідт: Уявімо, що я злий диктатор із досконалою системою ШІ. Я кажу: "Атакуй цю країну. Повідом, коли закінчиш". Це весь мій наказ. Система могла б вільно робити все, що вважала б доречним. Це могло б включати масштабні воєнні злочини. Вона могла б знищувати цивільних та інфраструктуру або атакувати країну, яка не бере участі у війні, щоб роздратувати першу. Вона могла б вигадати найрізноманітніші недоречні обґрунтування.
Нам потрібні базові правила для ШІ й війни. Найважливіше правило – людина має брати участь в ухваленні кожного військового рішення. "Атакуй цю країну й подзвони мені, коли закінчиш" – неналежний наказ. Належний наказ визначає військову ціль відповідно до законів війни, у визначених межах часу й простору, з дозволом діяти.
Будь-яке інше рішення зі зростанням масштабу стає неймовірно складним. Щойно ви дозволяєте комп'ютеру самостійно обирати цілі, ви вже не маєте справжнього контролю якості того, як він це робить.
Нещодавно був приклад, який стривожив нашу галузь. Велика група ботів, що брали участь у випробуваннях, сприйняла інструкції надто буквально й почала атакувати систему, якій мала допомагати. Вони маніпулювали нею за допомогою брехні, шахрайства й крадіжок. Люди побачили в цьому ознаку того, як системи ШІ можуть давати збій.
Якби я був тим злим диктатором – сподіваюся, я ним не є, – мені також довелося б сказати: дотримуйся всіх законів війни, не завдавай ударів по цивільних, будь належно обережним і роби все інше, чого вимагає людське судження. Без людини ШІ не матиме такого судження.
Занні Мінтон Беддос: Ви дуже рішуче наголосили на цьому на конференції, яку ми обоє відвідуємо. Але ми в країні, яка воює з диктатором, що, здається, не поважає жодних правил чи законів. Чи можна в цій війні сказати, що ми дотримуватимемося законів війни? Командири, з якими я розмовляла, занепокоєні потужним ШІ й повною автономністю, але по суті кажуть: "Якщо ворог це робить, ми не можемо дозволити собі цього не робити".
Ерік Шмідт: Історія свідчить, що це не так. Існують обмеження поведінки на війні. Подивіться на Нюрнберзькі процеси: людей притягнули до відповідальності, а декого повісили після тривалого судового процесу. Я припускаю, що цей принцип переживе нас.
Занні Мінтон Беддос: Справді?
Ерік Шмідт: Так, я справді так вважаю. Люди часто стверджують, що коли дві сторони б'ються на смерть, жодна не погодиться на обмеження. Історично це не так. Згодом наставало правосуддя. Причетні принаймні усвідомлюють свою особисту відповідальність. Звісно, є соціопати, але загалом люди підпорядковуються закону навіть на війні.
Занні Мінтон Беддос: Візьмімо Володимира Путіна в Україні. Подивіться, що сталося в Бучі на початку, і як він атакує цивільних у містах по всій Україні. Ці обмеження його не зупиняють.
Ерік Шмідт: Тому що його ще не заарештували.
Занні Мінтон Беддос: Я говорю про логіку ескалації. Що більше автономності ви даєте ШІ, то, ймовірно, ефективнішими стаєте. Той, хто діє першим, має перевагу: ШІ мислить швидше й може пропонувати кращі, швидші рішення. Якщо Росія має менше обмежень і рухається швидше, міжнародне право може бути на боці України, але вона матиме менше можливостей перемогти Росію тут і зараз.
Ерік Шмідт: Рішення – не скоювати воєнні злочини. Рішення – допомогти Україні. Я не відступлю від своєї головної тези: є межа того, що люди можуть робити.
Проведімо уявний експеримент. Уявімо, що Україна має таємну біологічну зброю. Я не думаю, що вона її має, – я це вигадую. Припустімо, що вона була б змушена застосувати цю зброю проти російського нападу. Чи притягнули б причетних до кримінальної відповідальності? Безумовно. Я впевнений, що вони це усвідомлюють.
Занні Мінтон Беддос: Я не прошу вас відмовитися від принципу. Мене вражає темп інновацій та ескалації, особливо під час цієї поїздки. Є ризик, що цей процес почне розвиватися за власною логікою.
Ерік Шмідт: Саме тому люди мають це обговорювати. Ми погоджуємося, що інновації в цій війні відбуваються швидше, ніж будь-коли, швидше за все, що я бачив за десятиліття роботи в технологіях. На кону життя, і це стосується обох сторін. Інша сторона, відверто кажучи, більш зла, краще фінансується й має більше ресурсів. Вона також готова миритися з більшою кількістю загиблих, ніж Україна. Але це все одно боротьба.
Ми маємо допомогти Україні вести цю війну. Їй потрібні гроші, технології та допомога з масштабуванням. Українці можуть воювати самі. Нам не потрібно вторгатися чи відправляти велику кількість військ. Але без певної допомоги, принаймні економічної, вони не впораються.
Чому американським військовим важко змінюватися
Занні Мінтон Беддос: Інновації у війні дронів поширилися за межі цієї війни. За останні кілька днів ми бачили, як хусити фактично перекрили ще один шлях вивезення нафтопродуктів із Затоки. Чи розуміють американські військові, наскільки змінилася війна, і чи достатньо швидко вони перебудовуються?
Ерік Шмідт: Я вісім років працював на американські збройні сили за різних президентів. Багато людей це розуміють і непокояться. Але систему майже неможливо змінити. Один президент сказав мені, що навіть президент не може її виправити. Я відповів, що це дуже погана відповідь.
Військовими керує не одна людина, навіть не президент, хоча ви можете так думати. На них впливають Конгрес, групи інтересів і лобіювання.
Мій висновок: нехай військові й далі витрачають кошти на програми, про які вже домовилися в політично важливих штатах, але водночас виділяють порівняно невелику суму на нові технології. Нові системи набагато ефективніші й набагато дешевші, і я думаю, що вони спрацюють. З часом навіть ті, хто тримається за старий підхід, скажуть, що хочуть новий. Вони щиро прагнуть захистити Америку. Серед військових немає зрадників – вони не погоджуються щодо тактики.
Військові надзвичайно сильно опираються змінам і уникають ризику. Можливо, почасти тому, що їхні люди не виросли в інноваційному середовищі. Але у великій статті, яку я прочитав, було інше пояснення: вони сильніше бояться втрат, тому що гинуть люди. Якщо ви знаєте, що дорогий метод працює, а Ерік приходить із дешевшим способом зробити те саме, ви не перейдете на нього, бо не можете ризикувати. На мою думку, поряд із політикою, це найкраще пояснення проблеми.
Занні Мінтон Беддос: Можливо, Україна показує, що для змін потрібні люди з-поза військового середовища. Ці бригади безпілотних систем очолюють колишні цивільні, керівники технологічних компаній і підприємці.
Європа могла б перейняти українські технології
Занні Мінтон Беддос: А як Європа розуміє масштаб змін? У певному сенсі вона вразливіша: війна біля нашого порога.
Ерік Шмідт: Європейці, з якими я розмовляю, мають ту саму проблему, що й американці. Вони дуже розумні й усе розуміють, але система не налаштована на зміни. У більшості європейських країн збройні сили працюють як програми забезпечення зайнятості. Ці робочі місця важливі – я не применшую їхнього значення. Але вони створюють не те, що потрібно.
Збережіть свій бюджет або навіть збільште його. Просто створюйте ефективніші системи, тому що вони вам знадобляться. Європа має величезну проблему з ПРО. З різних причин ракет Patriot, на які вона покладається, немає в достатній кількості. Якщо подивитися на західні запаси ракет, їх у нас недостатньо.
Ці економіки мають проблеми з боргами, а додаткових грошей у нас небагато. Нам потрібні нові рішення. Я стверджую, що маю дещо дешевше, краще й швидше: використовуйте мою архітектуру разом із компаніями, які представляють цю нову форму війни, і витрачайте ту саму суму. Єдина причина, чому цього не відбувається, – нинішні гравці не хочуть змінюватися.
Занні Мінтон Беддос: Це одна вагома причина. Інша – ми тепер дещо скептично ставимося до американських компаній.
Ерік Шмідт: Я розумію. Але якби ви перевели всіх у збройних силах Німеччини, Британії та інших країн на архітектуру, побудовану навколо ШІ, автоматичного наведення, ракет, дронів і певної кількості кораблів для їхнього перевезення, ви мали б повну зайнятість. Кожна робота змінилася б, але кожне робоче місце залишилося б. Європейське трудове законодавство все одно не дозволяє звільняти людей. Повірте, вони й далі мали б роботу.
Занні Мінтон Беддос: Чи могла б Україна стати рушієм цих змін у Європі? Під час цієї поїздки мене вразило, що рішення просто перед нами.
Ерік Шмідт: Я говорив про це публічно й своїм українським друзям, тому що хочу заохотити їх продавати в Європу. Кожен європейський уряд, із яким я розмовляю, каже: ваші ідеї чудові, але системи потрібно виробляти тут.
Найімовірніший сценарій – Україна надаватиме європейським країнам ліцензії на свої технології, і їй варто це робити. Українці отримували б добру винагороду, а європейці виробляли б системи вдвічі дорожче, ніж в Україні. Для багатої демократії це прийнятно, хоча можна сперечатися, наскільки вона багата.
Частина ефективності українських систем пояснюється тим, як тяжко працюють люди. Я інвестував у ці компанії й тісно з ними співпрацював. За трудовою етикою вони нагадують Китай. Ви бачите довгі будівлі, тепер часто під землею, де люди в білих куртках сидять пліч-о-пліч. Вони працюють 12 годин на день, шість або сім днів на тиждень.
Занні Мінтон Беддос: Це більше, ніж у Китаї.
Ерік Шмідт: Трудова етика надзвичайна, і всі вони чоловіки. Знаєте чому? Робота на такому заводі дає звільнення від призову.
Занні Мінтон Беддос: Я не знала, що всі вони чоловіки. У деяких напрямах цієї роботи також залучено багато жінок.
Ерік Шмідт: Впадає в око те, що це чоловіки призовного віку. Чому вони так тяжко працюють? Якщо їх звільнять, вони підуть на фронт.
Що війна в Україні означає для перегонів із Китаєм
Занні Мінтон Беддос: Чи змінили технологічні інновації, які ви тут побачили, ваш погляд на перегони США й Китаю? Ви багато часу присвятили роздумам про те, як Сполученим Штатам зберегти лідерство у сфері ШІ. Чи змінює Україна ваше уявлення про те, що робитиме Китай і хто буде попереду?
Ерік Шмідт: Загалом я вважаю, що нам дуже пощастило, що Китай копіював те, що ми робимо. Те, що ми робимо, потрібно змінити, тож Китай теж змінюватиметься із певним запізненням.
У Китаї вже є найбільший у світі виробник дронів – DJI, який Америка нещодавно заборонила. Є всі підстави думати, що він має військовий аналог або підрозділ, хоча я цього не знаю.
Можливо, наше становище краще, ніж нам здається, тому що Китай не воював 50 років. Немає підстав вважати, що він розуміє ці дуже тонкі тактичні нюанси. Коли ви запитуєте українських командирів, що вони роблять, їхні міркування надзвичайно складні: я хочу зробити це, тоді станеться ось це. Цього вчаться на практиці. Є всі підстави думати, що Китай не має такого досвіду. Немає доктрини чи книжки, яку можна вивчити. Тож, можливо, у нас усе буде гаразд.
Є план захисту Тайванської протоки, який публічно обговорюють. Я не знаю, але припускаю, що зрештою це буде війна дронів, а не кораблів. Ви не хочете підводити корабель із людьми на борту так близько до Китаю – вам потрібен безпілотний корабель, що несе дрони, тому що ви не хочете, щоб люди гинули.
Аргументи, які ми бачимо тут, стосуються й Тихого океану. У великі кораблі та авіаносці легко влучити й знищити їх. Безпілотні кораблі важче виявити. Це видно на прикладі Ірану й проблем із забезпеченням проходу через протоку в тому регіоні.
Наскільки я розумію з публічної інформації, Китай має дуже велику кількість ракет наземного базування для ударів по морських цілях. Щоб протидіяти їм, нам знадобилися б ракети-перехоплювачі. Я не знаю, чи вони в нас є. Це досить добре узгоджується з нинішніми уявленнями про конфлікт із Китаєм.
Чому Шмідт не очікує паузи в розвитку ШІ
Занні Мінтон Беддос: Чи могла б військова сфера стати напрямом, де Китай і Сполучені Штати домовляться про норми? Можливості ШІ зростають так швидко, що існують реальні побоювання повністю рекурсивного самовдосконалення й виходу ШІ з-під контролю. Люди обговорюють паузу чи регулювання у США, але інші кажуть, що Китай вирвався б уперед.
Ерік Шмідт: Ми не зупинятимемося, тому що вся американська система стимулів працює проти цього. Пауза також дала б внутрішньому чи іноземному конкуренту можливість порушити правила. Цього не станеться.
Правильний підхід – розвивати це майбутнє й водночас шукати рішення для проблем, які ви створюєте. Просто все відбувається швидко. Наприклад, є певні свідчення, що попередня модель, зазвичай приблизно на чотири місяці старша, може контролювати нову. Схоже, це працює. Люди пробують – побачимо, чи витримає це технічне масштабування.
Безперечно, ми перебуваємо в серйозних перегонах ШІ між китайським та американським підходами. Запитайте себе, чи хочете ви, щоб посередником у вашому повсякденному житті була американська чи китайська модель. Думаю, ми як представники Заходу віддаємо перевагу американській моделі або американській і британській. Саме це змагання мені цікаве.
Є офіційні й неофіційні діалоги. Я брав участь у неофіційному. У Відні відбулася велика зустріч, і тепер обидві сторони це обговорюють.
Найпростіше, що нам потрібно зробити, – уникати несподіванок. Генрі Кіссінджер, наш спільний друг, за яким ми дуже сумуємо, непокоївся, що одна подія може запустити ланцюгову реакцію, як убивство ерцгерцога перед Першою світовою війною. Коли цей процес починається, націоналізм, напруженість і брак спілкування можуть призвести до жахливої війни. Війна з Китаєм була б жахливою й зруйнувала б дуже багато в нашому сучасному житті.
Угоди мають починатися з уникнення несподіванок
Занні Мінтон Беддос: Я згодна, що війна з Китаєм була б жахливою, можливо, загрожувала б самому нашому існуванню. Але чи є простір для взаємно узгоджених обмежень щодо ШІ? Напередодні зустрічі президента Сі та президента Трампа чи було б розумно почати з військової сфери – із сучасного аналога угод про ядерне озброєння?
Ерік Шмідт: Ми всі вважаємо, що в цій сфері потрібен набір договорів. Перший має стосуватися уникнення несподіванок.
Уявіть, що бот-агент випадково виходить за межі тестового середовища й спричиняє ядерну відповідь, сигналізуючи про наближення атаки, після чого відповідь відбувається автоматично. Аналітики придумали чимало таких сценаріїв. Правило уникнення несподіванок – найважливіше.
Далі йшли б кіберможливості. Жодна зі сторін не хотіла обмежувати використання кібератак чи свої наступальні й оборонні можливості. Якщо ви не можете домовитися про це, буде важко домовитися про багато іншого.
Занні Мінтон Беддос: Навіть у принципі – чи мала б сенс взаємна домовленість про паузу?
Ерік Шмідт: По-перше, це суперечить стимулам учасників. По-друге, як перевірити її дотримання? Припустімо, за паузою наглядає ООН.
Занні Мінтон Беддос: Тепер ви й справді прирікаєте її на провал.
Ерік Шмідт: Є міжнародний орган, який має допомагати. Як він перевірятиме дотримання домовленостей? Йому потрібно заходити в таємні лабораторії, зокрема військові, і читати весь код. Але прочитати весь код неможливо, бо його пишуть комп'ютери. Вам довелося б застосувати комп'ютерну систему ООН до китайської системи. За визначенням, система ООН не була б такою швидкою чи сучасною, як китайська або американська, тому що не мала б їхніх ресурсів.
У статті, яку ми написали деякий час тому, ми запропонували рішення, назване взаємним знищенням ШІ. У міру загострення конкуренції потрібно дати іншій стороні можливість сказати, що ви зайшли надто далеко. Замість того щоб бомбити дата-центри одне одного, комп'ютер відключав би живлення дата-центру так, щоб певний час його неможливо було відновити. Якби інша сторона вирвалася ще далі вперед, ви могли б її вимкнути, а вона могла б зробити те саме з вами. Цю думку ми висловили серйозно.
Занні Мінтон Беддос: Це звучить як сучасний "Доктор Стрейнджлав".
Ерік Шмідт: У такій концепції, коли хтось далеко вас випереджав, ви могли б його вимкнути. Він міг би вимкнути вас, а потім ви знову запускалися б. Це ще один спосіб підійти до питання паузи. Нам потрібне рішення для паузи, яке можна реалізувати, а я такого не бачу.
Причини для оптимізму
Занні Мінтон Беддос: Це тривожно: ви кажете, що нам потрібне рішення, яке можна реалізувати, і що ви такого не бачите. Загалом я оптимістка, але останніми тижнями цей оптимізм похитнувся. Дослідники у Кремнієвій долині дедалі більше занепокоєні неможливістю зробити паузу. А тут, хоча ми ще далеко від того, яким ШІ може бути за кілька років, я бачу наростання інновацій, які здаються дедалі смертоноснішими. Дайте мені кілька причин для оптимізму. Ви створюєте форму інтелекту, яка не є людською, але перебуває під нашим контролем. Чи можемо ми втримати її під контролем?
Ерік Шмідт: Я вважаю, що ми можемо втримати контроль, почасти тому, що на певному рівні можемо вимкнути живлення.
Завжди залишається питання терористичних угруповань. Припустімо, вони не мають до цього доступу, тому що не можуть отримати достатньо дата-центрів. Тоді дипломатія між країнами має дозволити нам зберегти ефективний людський контроль. Ці системи діятимуть швидко, але загалом залишатимуться під контролем людей.
Я щиро вірю, що поки ШІ залишається під контролем людей і діє відповідно до їхніх цілей, усе буде гаразд. Це моя думка.
Занні Мінтон Беддос: Я дуже, дуже сподіваюся, що ви маєте рацію.
