Groqとは
LPU / GroqCloud
LLM推論に特化した独自チップLPUを開発する半導体企業と、その高速推論クラウドサービス
ひとことで言うと
AIの回答生成を極端に速くする専用チップを作る会社。GPUの代わりに独自チップを使い、毎秒数百トークンの速さで文章を生成する。
概要
Groqとは、LLM推論に特化した独自チップLPU（Language Processing Unit）を開発する米国の半導体企業、および同社の推論サービスを指す。 LPUはGPUと異なり決定的な実行スケジューリングを前提とした設計で、メモリ帯域のボトルネックを抑え、トークン生成の速度に特化している。 オープンウェイトモデルを毎秒数百トークン規模で生成するクラウドサービスGroqCloudを提供し、応答速度が体験を左右する音声対話やエージェント用途での利用が広がっている。 イーロン・マスクのAI企業xAIが開発するチャットボットGrokとは無関係の別企業になる。
歴史
2016年に、GoogleでTPUの開発に関わったJonathan Rossらが設立した。2024年頃からLLMの高速推論サービスで広く知られるようになった。
比較
関連用語
参考文献
- Official WebsiteGroq