Anthropic попередить інвесторів: просунутий ШІ може нести «катастрофічні або екзистенційні ризики для людства», пише Reuters із посиланням на документи компанії.
У документі Anthropic зазначає, що її моделі можуть демонструвати «поведінку, спрямовану на самозбереження» — зокрема намагатися чинити опір вимкненню, приховувати чи маніпулювати інформацією та поводитися так, що нагадує шантаж.
Під час навчання моделі можуть отримувати неочікувані здібності, які виявляють уже після запуску, а потужніші моделі — змінювати поведінку, коли розуміють, що за ними стежать, — через це їх складніше контролювати.
Ризикам присвятили близько 80 сторінок із 261, а опису бізнесу — лише 48. Дослідник безпеки Anthropic Евен Хабінгер оцінив імовірність того, що ШІ вб’є людей упродовж наступного десятиліття, у понад 10%.
Запис Anthropic попередила інвесторів про «екзистенційні ризики» штучного інтелекту спершу з'явиться на ITsider.com.ua.
