llama.cpp with CUDA backend 빌드하기

빌드 시간이 꽤 걸리니까 시간이 되실 때 하시면 좋을거 같아요. 다음과 같이 빌드가 된 모습을 보실 수 있어요. PS Q:\llama.cpp\build\bin\Release> ./llama-mtmd-cli.exe -m ./Qwen2-VL-7B-Instruct-Q4_0.gguf –mmproj ./mmproj-Qwen2-VL-7B-Instruct-f32.gguf –image ./lion.png –temp 0.2 -p “describe this image in detail” … llama.cpp with CUDA backend 빌드하기 계속 읽기