Что произошло
Генеральный директор Microsoft Сатья Наделла заявил, что ожидает новых сбоев в работе программного обеспечения, поскольку ИИ-инструменты теперь выявляют бреши в безопасности быстрее, чем компании успевают безопасно их устранять, сообщило издание TNW | Microsoft. В беседе с Эндрю Россом Сорокиным на саммите DealBook, который проводит The New York Times, в среду в Нью-Йорке он извинился за сбой в работе Outlook, не имевший, по его словам, прямой связи с этой тенденцией. Позже в эфире CNBC в разговоре с Джимом Крамером он сказал, что Microsoft следовало больше тестировать и изолировать неисправность до того, как она распространилась по всему миру.
Наделла рассказал, что исправление для критически важной банковской системы раньше проходило примерно недельное тестирование. Поскольку злоумышленники теперь используют уязвимости, как только те появляются, по его словам, патчи отправляют прямо в production, что приводит к нестабильности. Он отметил, что в день его выступления вышло три критических патча для открытого ПО. Он также сказал, что ИИ-модели позволяют практически любому действовать как настойчивому злоумышленнику с возможностями уровня государства.
Говоря о безопасности ИИ, Наделла отметил, что масштабирование дало результаты, но вместе с ним не появились ни согласование целей (alignment), ни надёжная отладка моделей. Он предложил то, что назвал архитектурой доверия. Она запрещала бы модели, которые рассуждают на сокращённом языке, недоступном для человека, и требовала бы защищённых от подделки записей рассуждений, которые могли бы проверять другие модели. По его словам, сейчас ответственность за действия ИИ-систем несут те, кто их внедряет, и он ожидает, что страховщики оценят этот риск в деньгах и потребуют показать журналы.
Контекст
Microsoft владеет долями в OpenAI и Anthropic. Наделла сказал, что по соглашению с OpenAI Microsoft может использовать передовую модель без выплаты роялти до 2032 года. Это, по его словам, позволяет компании разрабатывать собственные модели MAI, которые отстают от передового уровня на три–шесть месяцев, но требуют лишь 5–20% вычислительных ресурсов. Microsoft также предложила выкуп должностей 60000 сотрудникам, а её агент Cowork создан командой из 11 разработчиков.
Обзор
Неделя в технологиях в одном письме.
Материалы, которые стоят вашего времени, каждую неделю. Отписаться можно в любой момент.
