【媒體界】2月21日消息，近日，初創公司Groq推出的大模型推理芯片引發了業界的廣泛關注。這款芯片以每秒500tokens的驚人速度，成功超越了傳統GPU和谷歌TPU的推理性能，成為大模型推理領域的新翹楚。

據悉，Groq公司的創始團隊來自谷歌TPU的原班人馬，他們在設計這款芯片時，采用了全球首個LPU(Language Processing Unit)方案。通過這一創新方案，Groq成功克服了計算密度和內存帶寬的瓶頸，實現了大模型推理性能的大幅提升。與傳統GPU相比，Groq的推理速度提高了10倍，成本降低了十分之一，性價比顯著提升。

據媒體界了解，Groq的這款芯片在算力方面表現出色，整型(8位)運算速度高達750TOPs，浮點(16位)運算速度也達到了188TFLOPs。同時，該芯片還搭載了230MB大SRAM以保證內存帶寬，片上內存帶寬高達80TB/s。這些技術指標的突破，使得Groq的芯片在處理大模型推理任務時更加得心應手。

Groq在演示中展示了其芯片對多種大模型的支持能力，包括Mixtral8x7B SMoE、Llama2的7B和70B等。這意味著Groq的芯片可以廣泛應用于各種機器學習場景，為用戶提供更加高效、便捷的推理服務。

此外，Groq還提供了API密鑰訪問服務，讓用戶可以輕松體驗到世界上最快的開源大型語言模型(LLM)推理速度。同時，他們還推出了為期10天的免費試用期和具有競爭力的價格政策，以吸引更多的用戶和開發者加入Groq的生態系統。

總的來說，Groq以其創新的LPU方案和卓越的大模型推理芯片性能，正引領著大模型推理領域的技術發展潮流。他們的產品特色亮點突出，價格政策合理，有望在未來三年內超越英偉達等競爭對手，成為大模型推理市場的領導者。