Hugging Face

Hugging Face는 세계 최대의 오픈소스 AI 플랫폼입니다. 코딩에 GitHub가 있다면 AI에는 Hugging Face가 있다고 할 수 있을 정도로 독보적인 위치를 자랑합니다.

AI 모델을 생성하여 공유하고, 버전 관리와 업데이트를 할 수 있습니다. 또한 다른 사람들의 피드백을 받아 모델을 수정/발전시킬 수 있으며, Hugging Face에 공개된 모델을 Fine-tuning 하거나, 모델을 사용한 페이지를 생성할 수도 있습니다.

API로 모델 사용하기

예시로 google/flan-t5-large 모델을 사용해 보겠습니다. 우선 Hugging Face에 가입하고 API 사용을 위한 토큰을 발급받겠습니다.

이후 API를 호출하기 위한 코드를 작성해야 합니다. Hugging Face API를 지원하는 경우 아래처럼 Inference API (serverless) 옵션을 선택하면 API 호출 코드를 조회할 수 있습니다.

huggingface_api.py

import requests

API_URL = "https://api-inference.huggingface.co/models/google/flan-t5-large"
headers = {"Authorization": "Bearer ******"}

def query(payload):
	response = requests.post(API_URL, headers=headers, json=payload)
	return response.json()
	
output = query({
	"inputs": "The answer to the universe is",
})

실행해 보면 다음과 같이 결과가 출력됩니다.

huggingface_api2.py

from langchain_community.llms.huggingface_hub import HuggingFaceHub
from langchain.chains import LLMChain
from langchain.prompts import PromptTemplate
import os

os.environ["HUGGINGFACEHUB_API_TOKEN"] = "******"

repo_id = "google/flan-t5-large" 

template = """
Question: {sentence}
"""

prompt = PromptTemplate.from_template(template)

llm = HuggingFaceHub(
    repo_id=repo_id, model_kwargs={"temperature": 0.5, "max_length": 64}
)
llm_chain = LLMChain(prompt=prompt, llm=llm)

print(llm_chain.invoke({
    "sentence": "What is the capital of France?"
}))

LangChain으로도 API 호출이 가능합니다. 추가로 Hugging Face에서 제공하는 huggingface_hub 패키지를 설치해야 합니다.

pip install huggingface_hub

Hugging Face API는 사용량 제한이 있으며, 유료 플랜을 결제하면 제한이 늘어납니다. 그 외에도 10Gi를 초과하는 모델은 사용할 수 없는 등 몇 가지 제약이 있습니다.

직접 모델 다운로드하여 사용하기

직접 모델을 다운로드해서 사용할 수도 있습니다. 이번에는 microsoft/phi-2 모델을 사용해 보겠습니다.

Use in Transformers 버튼을 눌러 관련 코드를 조회할 수 있습니다.

실행을 위해서는 Hugging Face에서 제공하는 transformers 패키지를 설치해야 합니다.

pip install transformers

huggingface_down.py

# Use a pipeline as a high-level helper
from transformers import pipeline

pipe = pipeline("text-generation", model="microsoft/phi-2")
pipe.save_pretrained("model/phi-2")

코드를 실행하면 model/phi-2 폴더에 모델이 다운로드됩니다.

모델에 따라 추가로 패키지 설치가 필요할 수 있습니다. 예시 모델의 경우 TensorFlow 또는 PyTorch를 추가로 설치해야 합니다.

pip3 install torch torchvision torchaudio

이제 다운로드한 모델을 실행해 볼 차례입니다. 여기서는 공식 예제 코드를 실행해 보겠습니다.

huggingface_down_run.py

from transformers import AutoModelForCausalLM, AutoTokenizer

model = AutoModelForCausalLM.from_pretrained("model/phi-2", torch_dtype="auto", trust_remote_code=True)
tokenizer = AutoTokenizer.from_pretrained("model/phi-2", trust_remote_code=True)

inputs = tokenizer('''def print_prime(n):
   """
   Print all primes between 1 and n
   """''', return_tensors="pt", return_attention_mask=False)

outputs = model.generate(**inputs, max_length=200)
text = tokenizer.batch_decode(outputs)[0]
print(text)

정상적으로 실행되는 것을 볼 수 있습니다.

Spaces

Hugging Face 모델을 통해 페이지를 만들어 공개할 수도 있습니다.

예를 들어, 인도 음식을 인식하는 모델이 있다고 했을 때, 사진을 올려 어떤 인도 음식인지 판단하는 페이지를 만들 수 있습니다.

아래는 다른 유저가 만든 사이트를 사용한 것입니다.

PreviousCoding AI NextAI 관련 개념들

Last updated 1 month ago

import requests API_URL = "https://api-inference.huggingface.co/models/google/flan-t5-large" headers = {"Authorization": "Bearer ******"} def query(payload): response = requests.post(API_URL, headers=headers, json=payload) return response.json() output = query({ "inputs": "The answer to the universe is", })

from langchain_community.llms.huggingface_hub import HuggingFaceHub from langchain.chains import LLMChain from langchain.prompts import PromptTemplate import os os.environ["HUGGINGFACEHUB_API_TOKEN"] = "******" repo_id = "google/flan-t5-large" template = """ Question: {sentence} """ prompt = PromptTemplate.from_template(template) llm = HuggingFaceHub( repo_id=repo_id, model_kwargs={"temperature": 0.5, "max_length": 64} ) llm_chain = LLMChain(prompt=prompt, llm=llm) print(llm_chain.invoke({ "sentence": "What is the capital of France?" }))

from transformers import AutoModelForCausalLM, AutoTokenizer model = AutoModelForCausalLM.from_pretrained("model/phi-2", torch_dtype="auto", trust_remote_code=True) tokenizer = AutoTokenizer.from_pretrained("model/phi-2", trust_remote_code=True) inputs = tokenizer('''def print_prime(n): """ Print all primes between 1 and n """''', return_tensors="pt", return_attention_mask=False) outputs = model.generate(**inputs, max_length=200) text = tokenizer.batch_decode(outputs)[0] print(text)