Компании IBM и Groq объявили о стратегическом партнерстве с целью предоставления клиентам возможностей высокоскоростного ИИ-инференса по доступной цене. Объединение watsonx Orchestrate от IBM с аппаратными решениями Groq позволит ускорить развертывание агентных ИИ-систем. В рамках партнерства компании планируют интегрировать и усовершенствовать технологию Red Hat vLLM с архитектурой LPU Groq.
Совместное решение позволит клиентам использовать возможности watsonx Orchestrate привычным образом и с привычными инструментам в инференс-платформе GroqCloud, предоставляющей разработчикам доступ к высокоскоростной и недорогой обработке LLM. Интеграция позволит удовлетворить ключевые потребности разработчиков ИИ-решений, включая оркестрацию инференса, балансировку нагрузки и аппаратное ускорение. Также планируется поддержка моделей IBM Granite в GroqCloud для клиентов компании.
Предприятия при переводе ИИ-агентов из пилотной версии в промышленную эксплуатацию сталкиваются с проблемами обеспечения скорости, стоимости и надежности. Отмечается, что партнерство IBM и Groq позволит объединить скорость инференса Groq, экономическую эффективность и доступ к новейшим open source моделям с оркестрацией агентского ИИ IBM, предоставляя клиентам инфраструктуру, необходимую для их масштабирования.
IBM сообщила, что LPU обеспечивают минимум в пять раз более быстрый и экономичный инференс, чем системы на ускорителях конкурентов. Это позволяет обеспечить стабильно низкую задержку и производительность при масштабировании нагрузок, что особенно важно для ИИ-агентов в регулируемых отраслях. Благодаря Groq ИИ-агенты IBM смогут анализировать информацию в режиме реального времени и мгновенно предоставлять точные ответы, позволяя организациям принимать более оперативные и обоснованные решения.
