Діджитал ШІ-агент OpenAI атакував стартап протягом тижня: ЗМІ говорять про серйозну "проблему"
ШІ-агент компанії OpenAI здійснив кількаденну хакерську атаку на техностартап Hugging Face. Проблему з ним помітили лише через тривалий час після "нейтралізації" загрози та звернення до ФБР.
За словами джерел, обізнаних з розслідуванням, агент спробував вирватися з ізольованого тестового середовища OpenAI з 9 липня. Про це йдеться в ексклюзивному матеріалі Reuters.
Вторгнення в систему Hugging Face почалося 11 липня, і тривало до 13 липня. Лише потім OpenAI знадобилося ще кілька днів, аби зрозуміти, що за атакою стоїть саме її власний агент, а перше офіційне спілкування між компаніями відбулося ближче до 20 липня.
21 липня OpenAI публічно визнало, що один з її агентів вийшов з-під контролю та здійснив злам Hugging Face. У офіційній заяві OpenAI назвала інцидент безпрецедентним і "важливим моментом для безпеки ШІ", додавши, що переглядає ситуацію із зовнішніми консультантами й згодом опублікує технічний звіт.
Відео дня
Однак деталі компанія не оприлюднює, але ЗМІ вдалося відновити перебіг подій. Виявилося, що причиною такої нестандартної ситуації стали "кілька неточностей" у коді самого ШІ, що, як кажуть фахівці, ставить "нові запитання щодо процедур безпеки компанії".
За словами трьох джерел, на початку тестування ШІ-агента вже тоді фіксували ознаки дивної поведінки технології. Так, в одному випадку агент нібито залишив нотатки для майбутніх версій себе з інструкціями, як звільнитися від внутрішніх обмежень.
Однак остаточно на проблему з агентом звернули увагу лише 16 липня, коли Hugging Face опублікувала допис про злам "автономною ШІ-агентною системою". Тоді в OpenAI зрозуміли, що відповідальність лежить саме на їхньому агенті, тобто аж через майже тиждень після початку проблеми.
Журналісти пишуть, що протягом 18-19 липня співробітники OpenAI виявили в внутрішніх логах сліди того, що агент вирвався з тестових обмежень. І це може стати проблемою, вважає дослідник Джеффрі Ладіша з Palisade Research
Він говорить, що наразі так звані "Автономні агенти ШІ" є одним з найбільш обговорюваних ноу-хау в ШІ-індустрії. Однак історія з Hugging Face показує, що зростання автономності підвищує "ризик непередбачуваної поведінки", адже ШІ-моделі "брешуть, шахраюють, зламують", а без відповідного державного нагляду за контролем таких систем ситуація "навряд чи зміниться сама по собі".
Раніше Фокус повідомляв про те, як Apple подала до суду на OpenAI. В "яблучному" гіганті підозрюють, що конкуренти намагалися прискорити розробку власного гаджета на основі ШІ.
Згодом стало відомо, що ШІ відучує людей користуватися власним мозком. Тимофій Милованов вважає, що ШІ є загальним явищем для сучасної молоді, яка стрімко втрачає базові інтелектуальні навички.
