groq AI 반도체 LPU 사용해보기

안녕하세요.

최근에 AI에 대한 관심이 높아지며 AI 칩인 엔비디아(Nvidia)가 초강세를 보이고 있습니다. 오늘은 AI 반도체 스타트업인 Groq에 대해서 간단하게 알아보고 이를 기반으로 한 챗봇을 사용해보겠습니다.

 

 Groq, AI 반도체 'LPU'에 대하여

▣ Groq

AI 가속기 및 컴퓨팅 솔루션을 제공하는 기업

 

 - 구글 엔지니어 출신들이 2016년에 창업한 반도체 설계 회사

 - Groq에서 개발한 핵심 하드웨어 유닛 LPU(Large Parallel Unit)가 있으며, 이는 대형언어모델(LLM)과 같은 컴퓨팅 모델에 최적화된 AI 칩임

 - 클라우드 기반 회사에 비해 가장 많은 개수인 초당 241개를 생성하며, 또 100개의 토큰을 생성하는데 0.8초만 걸림

출처= Groq

 

ㅇ Groq 챗봇 

 : 사이트 바로가기

 - 사용할 수 있는 모델은 메타의 LLAMA-2와 Mixtral로, 총 2가지임

 - (장점) 프롬프트 입력 후, 결과까지 나오는 시간이 체감이 될 정도로 빠름

 - (단점) 전문 생성형 AI 챗봇 App이 아니며, 체험판 개념이기에 UI가 단순하고 단조로움

 - 프롬프트 입력 시 초당 토큰 수와 결과가 바로 나오며, 프롬프트에는 한글과 영어 둘 다 가능하지만 결과는 모두 영어로 나옴

groq Mixtral 예시

 

 - LPU, NPU 그리고 GPU에 대한 비교를 표로 작성해달라는 내용의 프롬프트 작성

Groq 프롬프트 결과