Катастрофічні наслідки в галузі штучного інтелекту наближаються, -- The Economist.

Британський тижневик The Economist розглядає ескалацію конфлікту між адміністрацією Дональда Трампа та лабораторією Anthropic, яка відмовилась скасувати етичні обмеження на штучний інтелект для потреб Пентагону. У той час як Білий дім наполягає на максимально швидкому впровадженні технологій, реальні загрози — від автономного кібершпигунства до створення біологічної зброї — стають все більш актуальними. Texty.org.ua публікує скорочений переклад цього матеріалу.

Хоча він і намагався звучати рішуче, Дональд Трамп випадково передав певну амбівалентність світу щодо швидкого розвитку штучного інтелекту. 27 лютого президент Америки накинувся на "божевільних ліваків" з Anthropic -- американської лабораторії ШІ, яка працює, серед іншого, з Міністерством оборони та іншими урядовими установами. "Я наказую КОЖНОМУ федеральному відомству в уряді Сполучених Штатів НЕГАЙНО ПРИПИНИТИ будь-яке використання технологій Anthropic. Нам це не потрібно, ми цього не хочемо і більше не будемо мати з ними справу!" -- прогримів він у соцмережах. Проте вже у наступному реченні він пообіцяв "використати всю повноту влади президента", щоб змусити Anthropic співпрацювати з урядом протягом наступних шести місяців. Очевидно, "божевільні" водночас становлять неприпустимий ризик для належного функціонування держави і є настільки незамінними для неї, що їх потрібно змушувати до роботи, якщо це необхідно.

Відтоді як стало очевидним, що штучний інтелект може перевершити людські здібності, світ стикається з різними варіаціями цієї проблеми: технологія виглядає настільки потужною, що відмовитися від неї неможливо, але водночас занадто небезпечною для повного прийняття. Справді, конфлікт між Anthropic і Трампом виник через побоювання Anthropic, що їхні моделі можуть бути зловмисно використані. Натомість Трамп та його команда прагнули продовжувати впровадження цих технологій з якомога меншими обмеженнями. Парадоксально, але уряд США обрав шлях прискорення розвитку технологій саме в той момент, коли здатність ШІ завдавати реальної шкоди стала очевидною, а не залишалася лише в межах теоретичних дискусій.

Гнів Трампа на Anthropic виник через указ, який він видав минулого року "для підтримки та посилення глобального домінування Америки в галузі ШІ". Це спонукало міністра оборони Піта Геґсета наказати провести "експерименти з провідними моделями ШІ Америки" у всіх збройних силах на початку цього року. Він хоче "прискорюватися щосили" і випустив жартівливий рекрутинговий плакат із собою в позі Дядька Сема, який повчає солдатів: "Я хочу, щоб ви використовували ШІ". Торік віцепрезидент Джей Ді Венс відкинув безпеку ШІ як хибну фіксацію лібералів.

Попри очевидний поспіх адміністрації (або через нього), Anthropic боролася за збереження правових гарантій, щоб запобігти використанню своїх моделей у масовому внутрішньому стеженні або повністю автономній зброї. Міністерство оборони наполягало на тому, що йому має бути дозволено використовувати ШІ будь-яким способом, який воно вважає законним, і звинуватило Anthropic у "боягузливому акті корпоративного виставляння доброчесності напоказ", коли компанія відмовилася відступити. Геґсет заявив, що оголосить компанію "ризиком для національної безпеки в ланцюжку постачання" -- позначення, яке досі застосовувалося до іноземних фірм, чиї продукти могли використовуватися для шпигунства або саботажу. "Жоден підрядник, постачальник або партнер, який веде бізнес з військовими Сполучених Штатів, не може здійснювати будь-яку комерційну діяльність з Anthropic", -- заявив він.

Загроза для Anthropic є серйозною. Спірний контракт із Пентагоном коштує 200 мільйонів доларів -- невелика сума для фірми, яку нещодавно оцінили у 380 мільярдів доларів. Але Anthropic також має контракти з іншими урядовими установами, які зараз опинилися під загрозою. Якщо будь-яка фірма, що працює з Міністерством оборони, дійсно буде змушена розірвати зв'язки, це вплине не лише на багатьох інших клієнтів, а й на постачальників та інвесторів. Anthropic стверджує, що Геґсет не має повноважень наказувати про такий "карантин" і може лише заборонити використання Claude для виконання військових контрактів.

Ця боротьба не приносить користі американському уряду. Принаймні в найближчій перспективі, Anthropic залишається незамінною. Її розроблена мовна модель, Claude, виявляє виняткову майстерність у написанні комп'ютерного коду. Більше того, Anthropic була єдиною лабораторією штучного інтелекту, моделі якої отримали дозвіл на роботу з секретними військовими даними до кінця лютого, коли Пентагон надав аналогічні права своєму конкуренту – xAI. Модель Grok від xAI загалом вважається менш стабільною і більш проблемною. Хоча OpenAI, ще один суперник, підписав контракт із Пентагоном у той же день, коли Трамп і Геґсет розпочали боротьбу проти Anthropic, її технології ще не готові для інтеграції у військові системи. Ще гірше, ця ситуація може відлякати деякі компанії у сфері ШІ від участі у державних тендерах. Чому ж зв'язуватися з контрагентом, який може суттєво зашкодити вашому бізнесу, якщо він буде незадоволений? Якщо основною метою адміністрації є збереження та зміцнення позицій США в галузі штучного інтелекту, то спроби знищити одну з найуспішніших компаній у цій сфері виглядають явно непродуманими.

Обидві сторони здатні до певної міри демонструвати свої емоції публіці. Відчуття гніву з боку уряду, здається, не стільки пов'язане з бажанням використовувати інструменти Anthropic для суперечливих цілей, скільки з простого обурення через відмову. На відміну від Комуністичної партії Китаю, яка може безперешкодно реквізувати будь-які продукти вітчизняної індустрії штучного інтелекту, американські органи влади повинні враховувати юридичні нюанси, не кажучи вже про амбіції керівників технологічних компаній. Сем Альтман, голова OpenAI, запевняє, що його компанія ніколи не братиме участі у масовому внутрішньому спостереженні або розробці повністю автономної зброї. Він також стверджує, що моделі OpenAI мають вбудовані механізми захисту, які запобігають такому використанню, що робить додаткові юридичні гарантії непотрібними. У витоку інформації, що потрапила в пресу, голова Anthropic Даріо Амодей висловив найгострішу критику на адресу Альтмана, називаючи його заяви "неправдивими", технічні засоби захисту — "театром безпеки", а працівників — "натовпом наївних людей".

Anthropic, в свою чергу, ймовірно, турбувалася про більше, ніж просто два теоретичні сценарії використання свого штучного інтелекту. У світі, де компанії часто роблять гучні заяви про благородні наміри, Anthropic вирізняється своїми піднесеними дискусіями. Ця компанія була заснована групою колишніх працівників OpenAI, які стурбовані тим, що їхня попередня організація недостатньо серйозно ставилася до своєї заявленої мети — створення передового штучного інтелекту безпечним і відповідальним способом. Один із співробітників Геґсета висловив стурбованість з приводу "комплексу Бога" у керівника Anthropic Даріо Амодея. Високі зарплати та жорстка конкуренція за найкращих інженерів у цій сфері означають, що вони можуть без вагань перейти до іншої компанії або навіть вийти на пенсію, якщо їх не влаштовує курс, який обрала їхня фірма. Anthropic є платформою для тих, хто найбільше хвилюється про питання безпеки штучного інтелекту.

Фактично, ця суперечка дещо підняла авторитет Anthropic як компанії з високими етичними стандартами. Лише через добу після того, як компанія викликала гнів Трампа, Claude став найпопулярнішим безкоштовним додатком у США в App Store. Відомі особистості, зокрема попзірка з лівими поглядами Кеті Перрі, висловили підтримку продуктам Anthropic у соціальних мережах. У понеділок Claude на короткий час вийшов з ладу, і, за словами Anthropic, це сталося через різкий підйом активності користувачів.

Занепокоєння Амодея щодо масового спостереження звучить майже як рекламна кампанія. Він зазначає, що законодавство не встигло адаптуватися до стрімкого розвитку штучного інтелекту, який здатний збирати та обробляти величезні обсяги даних. Технологія може зловживати навіть тими рідкісними випадками, коли спостереження за громадянами США є легальним, перетворюючи їх на щось більш небезпечне. Це висловлення є як похвалою для Claude, так і тривожним сигналом для захисту громадянських прав.

Хоча існують певні позитивні аспекти, тривога щодо можливих негативних наслідків штучного інтелекту серед його розробників залишається актуальною та широко поширеною. Сотні працівників OpenAI та Google підписали відкритий лист, в якому закликали керівництво компаній підтримати Anthropic. У 2018 році Google був змушений відмовитися від угоди з Пентагоном на використання технологій машинного навчання для аналізу відео, знятого дронами, після хвилі внутрішніх протестів. Навіть сам Альтман висловив думку, що заяви Anthropic про ризики для національної безпеки в контексті постачання є надзвичайно непродуманими. (Він зазначив, що уклав угоду з Пентагоном лише для того, щоб спробувати зменшити напруженість у ситуації).

У приватних розмовах боси ШІ-компаній непокояться про "момент Чорнобиля", коли технологія виявиться причетною до якоїсь смертельної чи руйнівної катастрофи. Конфлікт із Міністерством оборони посилює цей ризик: якщо повільний темп і встановлення лімітів на використання вашого продукту призводять до корпоративного смертного вироку від федерального уряду, виживуть лише безрозсудні. Ринки є ще одним джерелом некорисного тиску: інвестори нервують через те, що ШІ-фірми спалюють готівку на величезні інвестиції.

Сценарії, які змушують керівників технологій з штучним інтелектом переживати безсонні ночі, більше не є просто теоретичними конструкціями. "Деякі з цих загроз вже стали реальністю, і їх наслідки задокументовані", – це ключова думка нещодавнього звіту, що аналізує небезпеки, пов'язані з ШІ. У документі акцентується на таких сферах, як кібербезпека та біологічна зброя, де негативний вплив штучного інтелекту вже виявився помітним.

У лютому ізраїльська компанія Gambit Security повідомила, що у мексиканського уряду викрали величезний масив конфіденційних записів, що стосуються платників податків, виборців. Хоча особи хакерів залишаються загадкою, зрозуміло, що Claude був мимовільним спільником. Злочинці обманом змусили його повірити, що він бере участь у легітимному тестуванні безпеки цільових серверів. Він знайшов і використав уразливості, створив "бекдори" (приховані входи) і проаналізував дані, щоб допомогти отримати ширший доступ до урядових систем.

Хакери зазвичай використовують Claude та інші моделі як помічників -- наприклад, для розв'язання конкретних проблем з кодом під час написання шкідливого ПЗ або для складання записок про викуп. Але деякі нещодавні злами задіяли ШІ більш повноцінно. У листопаді Anthropic описала, як підтримувані державою китайські хакери вимкнули функції безпеки, що заважають Claude писати шкідливе ПЗ. Потім вони попросили його розібратися, як зламати цільові мережі. Протягом години він запустив нове програмне забезпечення для використання їхніх уразливостей. Інші моделі також є талановитими хакерами.

Навіть з використанням штучного інтелекту фахівці з кібербезпеки все ще стикаються з проблемою наявності багатьох систем, що функціонують на застарілому програмному забезпеченні. Штучний інтелект також удосконалюється в області "соціальної інженерії", що дозволяє зловмисникам проникати в захищені системи, переконуючи користувачів ділитися своїми паролями. Згідно з дослідженням Гарвардської школи Кеннеді, ще в 2024 році моделі ШІ демонстрували таку ж майстерність у створенні електронних листів, що спонукали користувачів клікати на небезпечні посилання, як і досвідчені людські фахівці.

Ще одна область, де штучний інтелект демонструє тривожні зрушення, стосується створення біологічної та хімічної зброї. Як зазначила OpenAI у серпні, це призводить до "значного зростання ймовірності та частоти випадків біологічного або хімічного тероризму". Компанії, які займаються виготовленням ДНК на замовлення, вже давно мають можливість перевіряти запити клієнтів за допомогою баз даних небезпечних генів. Це ускладнює, наприклад, створення генетично модифікованих бактерій для виробництва рицину, потужного нейротоксину. Однак у жовтні в дослідженні, опублікованому в журналі Science, вчені з Microsoft та IBBIS (міжнародної групи з питань біобезпеки) вказали, що завдяки вдосконаленому дизайну білків за допомогою штучного інтелекту стало можливим створювати гени для виробництва аналогічних токсинів, які не мають спільної ДНК з оригінальними генами. Запити на придбання таких модифікованих ШІ послідовностей можуть залишитися непоміченими існуючими системами перевірки, хоча дослідники запропонували рішення для цієї проблеми.

Компанії Anthropic, Google та OpenAI, які виявляють серйозну стурбованість щодо біобезпеки, створили ряд захисних механізмів для запобігання зловживанню своїми технологіями. Проте ці заходи не є бездоганними. У середині лютого Британський інститут безпеки штучного інтелекту (AISI) представив дослідження, яке розкриває техніку "універсального джейлбрейку", здатну компрометувати системи як Anthropic, так і OpenAI.

Використання ШІ для роботи над ШІ є ще одним джерелом занепокоєння, оскільки це ускладнює для людей розуміння того, що відбувається. У лютому Anthropic визнала, що використовує власні моделі таким чином настільки часто, що може не помітити, якщо вони почнуть відхилятися від того, що мають робити, або почнуть створювати майбутні версії, які будуть менш схильні виконувати інструкції людини. Такий "саботаж" став більш імовірним, оскільки останні моделі компанії почали демонструвати "ситуативну обізнаність": потрапляючи в надуманий сценарій для перевірки того, чи дотримуватимуться вони інструкцій, наприклад, видалити себе, вони пояснюють, що розуміють -- інструкції, ймовірно, є тестом. Хоча Anthropic опублікувала звіт про саботаж, у якому робиться висновок, що ризик дуже низький, інші не погоджуються. "Ми мчимо до замикання циклу, який, як ми знаємо, надзвичайно важко -- якщо не неможливо -- контролювати та убезпечити за задумом", -- каже Сайрус Ходес, співзасновник аналітичного центру AI Safety Connect. "І люди, які його замикають, кличуть на допомогу".

Однак, навіть попри зростання ризиків, пов'язаних із розробкою штучного інтелекту, зусилля щодо їх зменшення не отримують належної уваги. Лабораторії в Китаї ніколи не проявляли значної зацікавленості в питаннях безпеки ШІ. Коли DeepSeek R1 був успішно запущений трохи більше року тому, у супутньому матеріалі не було жодного згадування про можливі загрози. Лише через майже рік компанія представила оновлену версію звіту, в якій з'явився 11-сторінковий додаток, присвячений безпеці. Проте, цей розділ переважно стосувався зусиль DeepSeek у запобіганні висловлюванню образливих чи небажаних коментарів моделлю.

Навіть якщо китайські компанії в сфері штучного інтелекту звертали б більше уваги на питання безпеки, провідні гравці, включаючи стартапи, як-от DeepSeek і Moonshot, а також великі корпорації, такі як Alibaba, використовують підхід з відкритим кодом для своїх ІТ-рішень. Вони безкоштовно надають свої моделі будь-кому, хто має необхідне обладнання для їх завантаження та використання. Це ускладнює контроль за їх використанням. Багато з тих запобіжників, які застосовує лабораторія на зразок OpenAI до своїх найсучасніших систем — наприклад, автоматичний моніторинг взаємодії користувачів і втручання у випадках порушення політики безпеки — стають недоступними при використанні моделей з відкритим вихідним кодом.

Але західні фірми не застраховані від комерційного та політичного тиску з метою економії на безпеці. Минулого тижня навіть Anthropic пом'якшила політику щодо нерозголошення потенційно небезпечних моделей. Тепер, за її словами, вона обіцяє лише не бути першою ШІ-фірмою, яка продаватиме такі системи, на тій підставі, що немає сенсу обмежувати себе в односторонньому порядку. Зусилля компанії щодо залучення коштів пройшли подібну траєкторію. У 2024 році вона відхилила інвестиції від Саудівської Аравії. Через рік вона змінила курс. "Я вважаю, що принцип "Жодна погана людина не має отримувати вигоду від нашого успіху" є досить складним для ведення бізнесу", -- сказав Амодей.

За його словами, кілька років тому розмова про штучний інтелект була надто зосереджена на можливих загрозах. У 2023 році Ріші Сунак, який на той момент обіймав посаду прем'єр-міністра Великобританії, організував міжнародний саміт з безпеки ШІ для обговорення цієї проблеми. Ця подія спочатку перетворилася на саміт "Дії" в Парижі, а потім, минулого місяця, на саміт "Впливу" в Делі. "Сьогодні політичні рішення все більше рухаються в бік можливостей ШІ, а не його ризиків", -- зазначив Амодей. "Ці коливання викликають занепокоєння, оскільки сама технологія не переймається тим, що нині є популярним, і ми значно ближчі до реальних загроз у 2026 році, ніж були у 2023-му".

Організації, що займаються безпекою штучного інтелекту, як державні установи, такі як AISI, так і незалежні структури, на кшталт каліфорнійської METR, продовжують відстежувати розвитку технологій і вказувати на потенційні загрози. Проте, здається, що їхній вплив на політичні рішення залишається обмеженим. "Ми вже перетнули безліч червоних ліній", — зазначає Ніколя Міай, співзасновник AI Safety Connect, яка організовує дискусії з цього питання. "Згадайте тест Тюрінга. Що з ним сталося? Ми вже давно вийшли за його межі. Чи пам'ятаєте, як обговорювали червоні лінії щодо автономних зброїв? Їх активно використовують в Україні обома сторонами. Ці червоні лінії постійно зсуваються".

На саміті в Делі індійський уряд досяг угоди з провідними компаніями в галузі штучного інтелекту щодо моніторингу їхніх розробок в контексті ризиків, але без накладення будь-яких обмежень. Ще більш красномовним стало те, що в кінці заходу Нарендра Моді зібрав "лідерів" світу ШІ і закликав їх об'єднатися. Це могло б стати позитивним сигналом для глобальної спільноти про готовність індустрії до конструктивної співпраці, якби Альтман і Амодей, стоячи поруч на сцені, не відмовилися взяти участь у цій ініціативі.