GPT OSS라는 OpenAI사의 오픈소스 모델이 공개 되었다고 한다.
https://huggingface.co/blog/welcome-openai-gpt-oss#flash-attention-3
하기의 링크에서 확인할 수 있다.
llama.cpp에서 inference할 수 있다고 하는데 나중에 시도해봐야 겠다.
20b모델은 16gb 짜리 vram에서도 구동이 되는 모양이다.
GPT OSS라는 OpenAI사의 오픈소스 모델이 공개 되었다고 한다.
https://huggingface.co/blog/welcome-openai-gpt-oss#flash-attention-3
하기의 링크에서 확인할 수 있다.
llama.cpp에서 inference할 수 있다고 하는데 나중에 시도해봐야 겠다.
20b모델은 16gb 짜리 vram에서도 구동이 되는 모양이다.