В отличие от фильмов научной фантастики, не существует прецедента использования ИИ систем в убийствах людей или кибератаках. Тем не менее, некоторые законодатели хотят внедрить защитные меры до того, как злоумышленники сделают этот дистопический будущий реальностью. Калифорнийский законопроект, известный как SB 1047, пытается предотвратить бедствия, вызванные системами ИИ в реальном мире, прежде чем они произойдут, и он направляется на окончательное голосование в сенате штата позднее в августе.

Хотя это кажется целью, с которой мы все можем согласиться, SB 1047 вызвал негодование как крупных, так и малых игроков Силиконовой долины, включая венчурные капиталовладельцы, крупные технологические торговые группы, исследователей и основателей стартапов. В настоящее время по всей стране ходит много законопроектов об искусственном интеллекте, но Калифорнийский закон об инновациях для безопасного и надежного создания моделей искусственного интеллекта на границе стал одним из самых контроверзиальных. Вот почему - и кто говорит об этом.

Что делает SB 1047?

SB 1047 пытается предотвратить использование крупных моделей ИИ для вызывания «критических вредов» для человечества.

Закон приводит примеры "критических вредов", таких как злоумышленник, использующий модель ИИ для создания оружия, приводящего к массовым жертвам, или дав инструкции к организации кибератаки, вызывающей ущерб более $500 миллионов (для сравнения, ущерб от сбоя CrowdStrike оценивается в более чем $5 миллиардов). Закон обязывает разработчиков (то есть компании, разрабатывающие модели) нести ответственность за внедрение достаточных протоколов безопасности для предотвращения подобных последствий.

Какие модели и компании подпадают под эти правила?

Правила SB 1047 применяются только к самым крупным моделям ИИ в мире: тем, которые стоят как минимум $100 миллионов и используют 10^26 FLOPS во время обучения - огромное количество вычислений, но глава OpenAI Сэм Альтман заявил, что на обучение GPT-4 потребовалась примерно такая же сумма. Эти пороги могут быть увеличены по мере необходимости.

Сегодня очень мало компаний разработали общедоступные продукты ИИ, достаточно крупные для соответствия этим требованиям, но такие гиганты технологической индустрии, как OpenAI, Google и Microsoft, скорее всего, скоро сделают это. Модели ИИ - по сути, огромные статистические двигатели, идентифицирующие и прогнозирующие закономерности в данных - в целом становятся более точными по мере увеличения размера, что, как ожидают многие, будет продолжаться. Марк Цукерберг недавно сказал, что следующее поколение платформы Meta Llama потребует в 10 раз больше вычислений, что поставило бы его под юрисдикцию SB 1047.

Когда речь идет об общедоступных моделях и их производных, законопроект определил, что после того, как $25 миллионов долларов уже были потрачены на разработку или доводку другой стороной, они становятся ответственными за эту производную модель, а не за оригинального разработчика.

Закон также требует протокола безопасности для предотвращения злоупотреблений обслуживаемыми продуктами, включая кнопку "аварийное выключение", которая отключает всю модель ИИ. Разработчики также должны создавать процедуры тестирования, которые учитывают риски, создаваемые моделями ИИ, и обязаны ежегодно привлекать сторонних аудиторов для оценки их практик безопасности ИИ.

Результатом должно быть "разумное обеспечение", что соблюдение этих протоколов предотвратит критические вреды - абсолютная уверенность, которую, конечно же, невозможно обеспечить.

Кто будет осуществлять контроль и как?

Новое агентство Калифорнии, Дивизион моделей на границе (FMD), будет надзирать за правилами. Каждая новая общедоступная модель ИИ, соответствующая порогам SB 1047, должна быть индивидуально сертифицирована с письменным экземпляром своего протокола безопасности.

FMD будет управляться пятичленным советом, включая представителей отрасли ИИ, сообщества открытого исходного кода и академии, назначенных губернатором и законодателями Калифорнии. Совет будет консультировать генерального прокурора Калифорнии по потенциальным нарушениям SB 1047 и выдавать рекомендации компаниям-разработчикам моделей ИИ по практикам безопасности.

Главный технологический директор разработчика должен каждый год предоставлять сертификацию FMD, оценивающую потенциальные риски его модели ИИ, эффективность его протокола безопасности и описание того, как компания соблюдает SB 1047. Аналогично уведомлениям о нарушениях, если происходит «инцидент безопасности ИИ», разработчик должен сообщить об этом FMD в течение 72 часов после узнавания об инциденте.

Если разработчик не соблюдает любые из этих положений, SB 1047 позволяет генеральному прокурору Калифорнии подать гражданский иск против разработчика. Для модели, обученной за $100 миллионов, размеры штрафов могут достигать до $10 миллионов при первом нарушении и до $30 миллионов при последующих нарушениях. Эта ставка штрафов увеличивается по мере удорожания моделей ИИ.

Наконец, в законопроект включены гарантии для информаторов, если они попытаются раскрыть информацию об небезопасной модели ИИ генеральному прокурору Калифорнии.

Что говорят сторонники?

Сотрудник Калифорнийского сенатора Скотта Винера, автора законопроекта, представляющий Сан-Франциско, сказал TechCrunch, что SB 1047 - это попытка извлечь уроки из прошлых неудач в области политики социальных медиа и конфиденциальности данных и защитить граждан до того, как станет слишком поздно.

“У нас есть история в области технологий, когда мы ждем, пока не произойдут вреды, и затем стонем”, - сказал Винер. “Давайте не будем ждать, пока случится что-то плохое. Необходимо действовать оперативно”.

Даже если компания обучает модель за $100 миллионов в Техасе, или, скажем, во Франции, она будет покрыта SB 1047, пока ведет деловую деятельность в Калифорнии. Винер считает, что за последние 25 лет Конгресс сделал "удивительно мало законодательной работы в области технологий", так что, по его мнению, Калифорния должна установить в этом прецедент.

Отвечая на вопрос о том, обсуждал ли он с OpenAI и Meta SB 1047, Винер сказал, что “мы общались со всеми крупными лабораториями”.

Два исследователя по ИИ, которых иногда называют “отцами-основателями искусственного интеллекта”, Джеффри Хинтон и Йошуа Бенджио, поддержали этот законопроект. Эти двое принадлежат к группе специалистов по ИИ, озабоченных опасными сценариями Гибели, которые могут быть вызваны технологией ИИ. Эти “AI doomers” существуют уже довольно долго в научном мире, и SB 1047 может законодательно закрепить некоторые из их предпочитаемых мер безопасности. Другая группа, поддерживающая SB 1047, Центр по безопасности ИИ, написала открытое письмо в мае 2023 года, призывая мир придать такое же значение “смягчению риска вымирания от ИИ”, как серьезно относятся к пандемиям или ядерной войне.

“Это в долгосрочных интересах индустрии Калифорнии и более широко в США, потому что крупный инцидент безопасности вероятно стал бы самым большим препятствием для дальнейшего развития”, - сказал директор Центра по безопасности ИИ, Дан Хендрикс, в электронном письме TechCrunch.

Недавно мотивацию самого Хендрикса начали подвергать сомнению. В июле он публично запустил стартап Gray Swan, который разрабатывает “инструменты для оценки рисков их систем ИИ”, по его словам. Следуя критике того, что стартап Хендрикса может получить выгоду, если законопроект будет принят, возможно, в качестве одного из аудиторов, которых требует нанять SB 1047 для разработчиков, он отказался от своей доли в Gray Swan.

“Я отказался в пользу четкого сигнала”, - сказал Хендрикс в электронном письме TechCrunch. “Если миллиардерное венчурное противодействие разумной практике безопасности ИИ хочет показать, что их мотивы чисты, пусть они поступают так же”.

Что говорят противники?

Все больше участников Силиконовой долины выступают против SB 1047.

Противоположное “биллионное венчурное противодействие” вероятно относится к a16z, венчурной фирме, основанной Марком Андрессеном и Беном Хоровицем, которая категорически выступает против SB 1047. В начале августа главный юрист венчурной фирмы Жайкумар Рамасвами отправил письмо сенатору Винеру, утверждая, что законопроект “будет обременять стартапы из-за его произвольных и изменяющихся порогов”, создавая охлаждающий эффект на экосистему ИИ. По мере развития технологий ИИ, они станут более дорогими, что означает, что больше стартапов преодолеют тот порог в $100 миллионов и будут охвачены SB 1047; несколько стартапов a16z уже получают столько на обучение моделей.

Фей-Фей Ли,