[Python] Groq API 챗봇 구현하기

안녕하세요.

오늘은 Grop의 API를 발급 받아 파이썬으로 챗봇을 구현하는 방법에 대해 알아보겠습니다.

 

 파이썬에서 Groq API 활용하기

▣ Groq LPU

Groq이 대형 언어모델(LLM)의 처리 가속화를 통해 추론 성능 및 정밀도를 높이기 위해 개발한 장치

 

 - 자연어, 기계 학습, 컴퓨터 비전 등 다양한 AI 관련 분야에 응용될 수 있도록 설계됨

 

※ Groq 관련하여 포스팅한 글이 있으니 관심 있으신 분들은 참고하시기 바랍니다.

2024.02.27 - [Programming/AI] - groq AI 반도체 LPU 사용해보기

 

▣ Groq API 사용하기

 - Groq API 사용을 위해서는 GroqCloud에 접속하여 로그인 후, API Keys > Create API key 버튼을 클릭하여 API Key를 발급 받을  수 있음

groqcloud API keys 발급 받기

 

 - 파이썬 환경에서 groq 패키지를 다운로드 받아 설치하여 사용

pip install groq

 

- Groq 함수를 import하여 발급 받은 API key를 입력하고 세부옵션을 선택한 Groq 챗봇 구현

 - "what is LPU"라는 내용의 프롬프트를 Groq 챗봇 message에 넣어 결과를 출력

import os
from groq import Groq

# Groq API 입력
client = Groq(api_key = "Groq API key")

# Groq 챗봇 설정하기
chat_completion = client.chat.completions.create(
    messages=[
        {"role": "system", "content" : "you are a helpful assistant."}, # 챗봇 스타일 설정
        {"role" : "user", "content" : "what is LPU?"}, # 프롬프트 입력
    ],
    # 모델 mixtral 선택
    model = "mixtral-8x7b-32768",
    temperature = 0.5, # 창의성 허락수준
    max_tokens = 1024, # 최대 토큰수
    top_p = 1, # 샘플링시 상위값 가져올 확률
    stop = None, # api 답변 중지 시점
    stream = False # 스트림 형식으로 response 전달
)

# 결과 출력하기
print(chat_completion.choices[0].message.content)

'LPU stands for La Punta University, also known as Lyceum of the Philippines University. It is a private university with several campuses in the Philippines, including in Manila, Cavite, and Laguna. The university offers a wide range of undergraduate and graduate programs in various fields such as engineering, education, business, and arts. It is known for its focus on providing quality education and producing globally competitive and socially responsible graduates.'

 

▣ Groq API 후기

 - 결과는 Groq 사이트와 동일하게 받을 수 있으며, 응답결과를 받는데 약 3초 정도가 소요됨

 - 여타 생성형 AI보다 빠른 속도가 장점이며, GroqCloud를 통해 무료로 사용할 수 있다는 점이 장점

 - 모델이 Mixtral과 LLama, 2가지 밖에 없고 Text 기반으로 이미지를 생성할 수 없다는 점이 아쉬움