Год назад Databricks приобрела MosaicML за $1.3 миллиарда. Теперь переименованная в Mosaic AI, платформа стала неотъемлемой частью решений Databricks по искусственному интеллекту. Сегодня, на Data + AI Summit компании, запускается ряд новых функций для сервиса. Перед анонсами я беседовал с сооснователями и руководителями Databricks, генеральным директором Али Годси и техническим директором Матей Захариа.

На конференции Databricks запускается пять новых инструментов Mosaic AI: Mosaic AI Agent Framework, Mosaic AI Agent Evaluation, Mosaic AI Tools Catalog, Mosaic AI Model Training и Mosaic AI Gateway.

"Это был потрясающий год - огромные достижения в Gen AI. Все взволнованы этим", - сказал мне Годси. "Но все еще актуальны одни и те же три вопроса: как мы можем повысить качество или надежность этих моделей? Во-вторых, как обеспечить эффективность в затратах? И есть огромные различия в стоимости между моделями - гигантские различия в цене на порядки. И, в-третьих, как мы можем это сделать таким образом, чтобы сохранить конфиденциальность наших данных?"

Сегодняшние запуски направлены на решение большинства этих проблем для клиентов Databricks.

Захариа также отметил, что предприятия, которые сейчас разворачивают большие языковые модели (LLMs) в продакшн, используют системы с несколькими компонентами. Это часто означает, что они делают несколько вызовов к модели (или, возможно, к нескольким моделям), и используют различные внешние инструменты для доступа к базам данных или для выполнения поисково-расширенной генерации (RAG). Эти составные системы ускоряют приложения на базе LLM, экономят деньги за счет использования более дешевых моделей для конкретных запросов или кэширования результатов и, возможно, наиболее важно, делают результаты более доверительными и актуальными путем дополнения базовых моделей собственными данными.

"Мы считаем, что это будущее действительно высокоэффективных критически важных приложений искусственного интеллекта", - объяснил он. "Потому что, если вы подумаете об этом, если вы делаете что-то действительно критически важное, вы захотите, чтобы инженеры могли контролировать все его аспекты, и вы это делаете с помощью модульной системы. Поэтому мы проводим много базовых исследований о том, как лучше всего создавать эти [системы] для конкретной задачи, чтобы разработчики могли легко работать с ними, соединять все компоненты, прослеживать все и видеть, что происходит".

Что касается непосредственного создания этих систем, Databricks запускает два сервиса на этой неделе: Mosaic AI Agent Framework и Mosaic AI Tools Catalog. AI Agent Framework использует функционал безсерверного векторного поиска компании, который стал общедоступным в прошлом месяце и обеспечивает разработчикам инструменты для создания собственных приложений на основе RAG.

Годси и Захариа подчеркнули, что система векторного поиска Databricks использует гибридный подход, совмещая классический поиск на основе ключевых слов с векторным поиском. Все это глубоко интегрировано с озером данных Databricks, и данные на обеих платформах всегда автоматически синхронизированы. К этому можно отнести и функции управления общей платформы Databricks - и, в частности, уровень управления каталогами Databricks Unity Catalog - чтобы, например, личная информация не просачивалась в векторный поисковый сервис.

Говоря о Unity Catalog (который компания теперь также медленно открывает для общего доступа), стоит отметить, что Databricks теперь расширяет эту систему, чтобы позволить предприятиям контролировать, на какие инструменты и функции искусственного интеллекта могут ссылаться эти LLMs при генерации ответов. Этот каталог, говорит Databricks, также сделает эти сервисы более обнаруживаемыми внутри компании.

Годси также подчеркнул, что разработчики теперь могут использовать все эти инструменты для создания собственных агентов, объединяя модели и функции с помощью Langchain или LlamaIndex, например. И действительно, Захариа говорит мне, что многие клиенты Databricks уже используют эти инструменты сегодня.

"Много компаний использует эти вещи, даже агентные рабочие процессы. Я думаю, люди часто удивляются, сколько их есть, но кажется, что это направление, куда движется все. И мы также обнаружили в наших внутренних приложениях искусственного интеллекта, таких как приложения-ассистенты для нашей платформы, что это способ их построения", - сказал он.

Чтобы оценить эти новые приложения, Databricks также запускает Mosaic AI Agent Evaluation, инструмент оценки с поддержкой искусственного интеллекта, который объединяет LLM-основанных судей для проверки эффективности работы искусственного интеллекта в продакшн, а также позволяет предприятиям быстро получать обратную связь от пользователей (и позволяет им также пометить некоторые первоначальные наборы данных). Лаборатория качества включает компонент пользовательского интерфейса на основе приобретения Databricks компании Lilac в этом году, который позволяет пользователям визуализировать и искать огромные наборы данных текста.

"Каждый наш клиент говорит: мне нужно провести некоторую разметку внутренне, я собираюсь попросить своих сотрудников это сделать. Мне просто нужно, возможно, 100 ответов, или, возможно, 500 ответов - и тогда мы можем передать это LLM-судьям", - пояснил Годси.

Еще один способ улучшить результаты - это использование отточенных моделей. Для этого Databricks теперь предлагает сервис Mosaic AI Model Training, который позволяет пользователям отточить модели с использованием конфиденциальных данных их организации, чтобы они лучше справлялись с конкретными задачами.

Последний новый инструмент - это Mosaic AI Gateway, который компания описывает как "объединенный интерфейс для запросов, управления и развертывания любой открытой или собственной модели". Идея заключается в том, чтобы позволить пользователям делать запросы к любым LLM, используя централизованное хранилище учетных данных. Ведь ни одно предприятие не хочет, чтобы его инженеры отправляли случайные данные в сторонние сервисы.

В период сокращения бюджетов AI Gateway также позволяет ИТ устанавливать ограничения скорости для различных поставщиков, чтобы контролировать затраты. Кроме того, эти предприятия также получают отслеживание использования и трассировку для отладки этих систем.

Как сказал мне Годси, все эти новые функции - это реакция на то, как пользователи Databricks теперь работают с LLM. "Мы видели большой сдвиг на рынке в прошлои квартале и полтора. В начале прошлого года, все, с кем вы разговаривали, говорили: мы за open source, open source - это классно. Но когда вы действительно давили на людей, они использовали Open AI. Все, независимо от того, что они говорили, независимо от того, как они пропагандировали, насколько классным является open source, за кадром они использовали Open AI". Теперь эти клиенты стали гораздо более продвинутыми и используют открытые модели (конечно, очень мало из них действительно open source), что в свою очередь заставляет их принять целиком новый набор инструментов для решения проблем - и возможностей - которые приходят с этим.