Что произошло
В четверг на своей конференции для разработчиков Box представила Box Content Retrieval — функцию, которая ставит систему эмбеддингов Nvidia Nemotron в центр платформы, сообщает TechCrunch. Инструмент позволяет ИИ-агентам при ответе на запросы использовать метаданные, созданные Nemotron; по словам Box, пользователи должны получать более быстрые, точные и дешёвые результаты.
Кари Брискi, вице-президент Nvidia по программному обеспечению для генеративного ИИ, рассказала TechCrunch, что ожидает ускорения ответов на запросы в четыре раза, сокращения числа ошибок на 20% и снижения расхода токенов на 90%. Генеральный директор Box Аарон Леви заявил, что при таком подходе агентам больше не нужно обрабатывать документы целиком. Вместо этого система возвращает конкретные фрагменты, наиболее релевантные запросу пользователя или задаче агента.
Функция станет доступна всем клиентам Box Enterprise Advance, развёртывание начнётся в начале следующего года. В Box отметили, что она лучше всего работает вместе с активными агентами, и привели в пример юристов, которые ищут релевантные положения и прецеденты. Поскольку эмбеддинги отражают понятия, а не только ключевые слова, связанные темы могут находиться, даже если формулировки или язык различаются.
Контекст
Функция опирается на проект Nvidia Nemotron Embed, в рамках которого публикуются модели эмбеддингов с открытыми весами, призванные улучшить автоматизированный поиск. Такие модели используют большие языковые модели для предварительной обработки данных, чтобы агенты могли работать с ними эффективнее, — эту область крупные ИИ-лаборатории часто упускали из виду. Поиск стал одним из приоритетов в работе Nvidia над моделями с открытым исходным кодом, а её релиз Nemotron в июле занял первое место в бенчмарке качества поиска RTEB.
Обзор
Неделя в технологиях в одном письме.
Материалы, которые стоят вашего времени, каждую неделю. Отписаться можно в любой момент.