10 дней назад OpenAI объявила , что создала новую команду…

10 дней назад OpenAI объявила , что создала новую команду для оценки и исследования моделей ИИ для защиты от того, что она называет «катастрофическими рисками».

Группу под названием «Подготовка» возглавит Александр Мадри, директор Центра развертываемого машинного обучения Массачусетского технологического института. Главными обязанностями группы будут отслеживание, прогнозирование и защита от опасностей будущих систем ИИ, начиная от их способности убеждать и обманывать людей (как в случае с фишингом) вплоть до возможности генерации вредоносного кода.

Некоторые из категорий изучаемого риска кажутся еще более серьёзными. Например, в своем блоге OpenAI называет «химические, биологические, радиологические и ядерные» угрозы областями наибольшего беспокойства, когда это касается моделей ИИ.

Генеральный директор OpenAI Сэм Альтман — известный визионер в области искусственного интеллекта, часто выражающий опасения, что ИИ «может привести к вымиранию человечества». Но сообщение о том, что OpenAI действительно выделяет ресурсы на изучение сценариев из научно-фантастических романов-антиутопий, является шагом еще дальше, чем ожидалось.

Запуск программы производится после того, как OpenAI объявила, что сформирует команду для изучения, управления и контроля новых форм «сверхразумного » ИИ. Глава компании Альтман убежден – наряду с убеждением Ильи Суцкевера, главного ученого и соучредителя OpenAI – что ИИ с интеллектом, превышающим человеческий, может появиться в течение десятилетия, и что этот ИИ не обязательно будет доброжелательным, что требует исследования способов его ограничивать.

Может ли лжепророк ограничить Зверя? Вопрос риторический