[월:] 2025년 08월

GPT OSS라는 OpenAI사의 오픈소스 모델이 공개 되었다고 한다. https://huggingface.co/blog/welcome-openai-gpt-oss#flash-attention-3 하기의 링크에서 확인할 수 있다. llama.cpp에서 inference할 수 있다고 하는데 나중에 시도해봐야 겠다. 20b모델은 16gb 짜리 vram에서도 구동이 되는 모양이다.

ConverstaionBufferMemory는 사람과 LLM간의 대화를 pair(쌍으로)하게 저장한다. 즉, 사람과 AI의 대화(티키타카)를 저장하는 것으로 볼 수 있다. 다음과 같이 인스턴스를 생성 inputs는 사람의 질문이 들어간다. 대화내용은 history라는 디폴트 키에 들어간 것을 볼 수 있다. 은행에서 비대면으로 계좌를…

안녕하세요 저의 블로그에 찾아주셔서 감사합니다. 우선 저의 블로그에 포스팅된 내용에는 대부분 cuda-toolkit을 활용하도록 되어진 프로그램을 빌드하거나 활용하는 내용이 많은 것 같습니다. 그래서 이번 포스팅에서는 기본적인 개발 환경 세팅을 알려드리고자 합니다. 우선 저의 개발환경은 주로 conda,…

requirements.txt의 내용을 다음과 같이 바꿉니다. 다음과 같이 하여 설치와 모델 다운로드를 완료합니다. 다음과 같이 비디오 생성을 시작합니다.(되게 오래 걸립니다…) 그리고 기다린 끋에 완성되었습니다.