✨ Groq чипировался и обогнал ChatGPT
опубликовано 19 февр 2024
Чат-бот Groq превзошел конкурента от OpenAI в скорости обработки запросов и генерации ответов!
Groq представляет собой чат-бот на базе ИИ-модели Mixtral. Одно из его главных преимуществ — это скорость. Groq может обрабатывать 500 токенов (частей слов) в секунду, что в 8 раз больше, чем ChatGPT 3.5, который за то же время обрабатывает примерно 40 токенов.
Для достижения заявленных параметров команда Groq разработала собственный чип — Tensor Processing Unit. Он ориентирован на большие языковые модели (LLM). Новый чип называют Language Processing Unit (LPU или «блок обработки языка»). Это как видеокарта или ASIC-майнер, но специально для ИИ.
Отметим, что OpenAI тоже заинтересована в разработке собственного специализированного ИИ-процессора и пытается привлечь финансирование для этой инициативы.
Проект Groq был основан еще в 2016 году. Это на 7 лет раньше чат-бота Grok от скандально известного предпринимателя Илона Маска. Ввиду схожести в названиях, разработчики Groq призвали Маска переименовать свой чат-бот на Slartibartfast (отсылка к серии книг «Автостопом по галактике» Дугласа Адамса).
Больше актуальных новостей
