AMD активно расширяет своё влияние на рынке искусственного интеллекта и выходит за рамки просто создания аппаратного обеспечения. Теперь компания делает шаг вперёд в разработке языковых моделей. Одним из таких шагов стал анонс первой малой языковой модели — AMD-135M.
Эта новая модель принадлежит к семейству Llama и ориентирована на бизнес-приложения. Пока остаётся под вопросом, связано ли создание AMD-135M с недавней сделкой по покупке стартапа Silo AI (сделка ещё не завершена и находится на стадии рассмотрения регуляторами). Однако факт очевиден — AMD стремится предложить решение, которое будет отвечать запросам корпоративных клиентов, создавая модели на основе собственных технологий.
Главное достоинство модели AMD-135M заключается в её способности использовать технологию так называемого спекулятивного декодирования. Эта методика включает использование небольшой «черновой» модели, которая генерирует несколько токенов за один цикл. Затем эти токены передаются более крупной «целевой» модели, которая проверяет и корректирует их. Такой подход позволяет ускорить процесс генерации текста, хотя и требует больших вычислительных ресурсов из-за объёма передаваемых данных.
AMD представила две версии своей модели: AMD-Llama-135M и AMD-Llama-135M-code. Каждая из них разработана для решения специфических задач с акцентом на улучшение скорости вывода данных с помощью спекулятивного декодирования. AMD-Llama-135M была обучена на базе 670 миллиардов токенов общих данных за шесть дней с использованием четырёх 8-канальных узлов на базе AMD Instinct MI250.
Версия AMD-Llama-135M-code была специально дообучена для работы с кодом, используя дополнительные 20 миллиардов токенов, что заняло четыре дня на том же оборудовании. AMD уверена, что дальнейшие улучшения и оптимизация её моделей позволят достичь ещё большей производительности и энергоэффективности в будущем.
