LLM VRAM Calculator for Ollama Models
Pick a model profile to estimate minimum VRAM, optimal VRAM, system RAM headroom, RTX 3090 fit,
and whether a local GPU or cloud fallback is the safer path.
Model profile Qwen3 VL 30B Q4 Qwen3 Coder 30B Q4 Qwen3 Coder 30B Q5 Qwen3 Coder 30B Q8 Qwen3 Coder 30B FP16 GPT-OSS 20B Q4 GPT-OSS 20B Q5 GPT-OSS 20B Q8 GPT-OSS 20B FP16 Llama 4 16X17B Q4 Llama 4 16X17B Q5 Llama 4 16X17B Q8 Llama 4 16X17B FP16 Qwen3.6 35B Q4 Qwen3.6 35B Q5 Qwen3.6 35B Q8 Qwen3.6 35B FP16 Qwen3.5 35B Q4 Qwen3.5 35B Q5 Qwen3.5 122B Q4 Qwen3.5 122B Q5 Qwen3.5 122B Q8 Qwen3.5 35B Q8 Qwen3.5 122B FP16 Qwen3.5 35B FP16 Qwen3 Coder 30B CLOUD Ministral 3 14B Q4 Ministral 3 14B Q5 Ministral 3 14B Q8 Ministral 3 14B FP16 Qwen3 8B Q4 Qwen3 8B Q5 Qwen3 8B Q8 Qwen3 8B FP16 Gemma 3 27B Q4 Gemma 3 27B Q5 Gemma 3 27B Q8 Gemma 3 27B FP16 GPT-OSS 20B CLOUD Mistral Small 22B Q4 Mistral Small 22B Q5 Mistral Small 22B Q8 Mistral Small 22B FP16 DeepSeek-R1 14B FP16 DeepSeek-R1 14B Q4 DeepSeek-R1 14B Q5 DeepSeek-R1 14B Q8 Glm 4.7 Flash 7B FP16 Glm 4.7 Flash 7B Q4 Glm 4.7 Flash 7B Q5 Glm 4.7 Flash 7B Q8 Llama 3.3 70B FP16 Llama 3.3 70B Q4 Llama 3.3 70B Q5 Llama 3.3 70B Q8 Nemotron 3 Nano 30B FP16 Nemotron 3 Nano 30B Q4 Nemotron 3 Nano 30B Q5 Nemotron 3 Nano 30B Q8 Qwen2.5 14B FP16 Qwen2.5 14B Q4 Qwen2.5 14B Q5 Qwen2.5 14B Q8 Qwen2.5 Coder 32B FP16 Qwen2.5 Coder 32B Q4 Qwen2.5 Coder 32B Q5 Qwen2.5 Coder 32B Q8 QwQ 32B FP16 QwQ 32B Q4 QwQ 32B Q5 QwQ 32B Q8 Translategemma 27B FP16 Translategemma 27B Q4 Translategemma 27B Q5 Translategemma 27B Q8 All-MiniLM 22M FP16 All-MiniLM 33M FP16 BGE-M3 567M FP16 CodeGemma 2B FP16 CodeGemma 2B Q4 CodeGemma 2B Q5 CodeGemma 2B Q8 CodeGemma 7B FP16 CodeGemma 7B Q4 CodeGemma 7B Q5 CodeGemma 7B Q8 CodeLlama 13B FP16 CodeLlama 13B Q4 CodeLlama 13B Q5 CodeLlama 13B Q8 CodeLlama 34B FP16 CodeLlama 34B Q4 CodeLlama 34B Q5 CodeLlama 34B Q8 CodeLlama 70B FP16 CodeLlama 70B Q4 CodeLlama 70B Q5 CodeLlama 70B Q8 CodeLlama 7B FP16 CodeLlama 7B Q4 CodeLlama 7B Q5 CodeLlama 7B Q8 DeepSeek Coder 1.3B FP16 DeepSeek Coder 1.3B Q4 DeepSeek Coder 1.3B Q5 DeepSeek Coder 1.3B Q8 DeepSeek Coder 33B FP16 DeepSeek Coder 33B Q4 DeepSeek Coder 33B Q5 DeepSeek Coder 33B Q8 DeepSeek Coder 6.7B FP16 DeepSeek Coder 6.7B Q4 DeepSeek Coder 6.7B Q5 DeepSeek Coder 6.7B Q8 DeepSeek Coder V2 16B FP16 DeepSeek Coder V2 16B Q4 DeepSeek Coder V2 16B Q5 DeepSeek Coder V2 16B Q8 DeepSeek Coder V2 236B FP16 DeepSeek Coder V2 236B Q4 DeepSeek Coder V2 236B Q5 DeepSeek Coder V2 236B Q8 Deepseek Ocr 3B FP16 Deepseek Ocr 3B Q4 Deepseek Ocr 3B Q5 Deepseek Ocr 3B Q8 DeepSeek-R1 1.5B FP16 DeepSeek-R1 1.5B Q4 DeepSeek-R1 1.5B Q5 DeepSeek-R1 1.5B Q8 DeepSeek-R1 32B FP16 DeepSeek-R1 32B Q4 DeepSeek-R1 32B Q5 DeepSeek-R1 32B Q8 DeepSeek-R1 671B FP16 DeepSeek-R1 671B Q4 DeepSeek-R1 671B Q5 DeepSeek-R1 671B Q8 DeepSeek-R1 67B FP16 DeepSeek-R1 67B Q4 DeepSeek-R1 67B Q5 DeepSeek-R1 67B Q8 DeepSeek-R1 70B FP16 DeepSeek-R1 70B Q4 DeepSeek-R1 70B Q5 DeepSeek-R1 70B Q8 DeepSeek-R1 7B FP16 DeepSeek-R1 7B Q4 DeepSeek-R1 7B Q5 DeepSeek-R1 7B Q8 DeepSeek-R1 8B FP16 DeepSeek-R1 8B Q4 DeepSeek-R1 8B Q5 DeepSeek-R1 8B Q8 DeepSeek-V3 671B FP16 DeepSeek-V3 671B Q4 DeepSeek-V3 671B Q5 DeepSeek-V3 671B Q8 DeepSeek-V3 67B FP16 DeepSeek-V3 67B Q4 DeepSeek-V3 67B Q5 DeepSeek-V3 67B Q8 Dolphin 3 8B FP16 Dolphin 3 8B Q4 Dolphin 3 8B Q5 Dolphin 3 8B Q8 Falcon 3 10B FP16 Falcon 3 10B Q4 Falcon 3 10B Q5 Falcon 3 10B Q8 Falcon 3 1B FP16 Falcon 3 1B Q4 Falcon 3 1B Q5 Falcon 3 1B Q8 Falcon 3 3B FP16 Falcon 3 3B Q4 Falcon 3 3B Q5 Falcon 3 3B Q8 Falcon 3 7B FP16 Falcon 3 7B Q4 Falcon 3 7B Q5 Falcon 3 7B Q8 Gemma 2 27B FP16 Gemma 2 27B Q4 Gemma 2 27B Q5 Gemma 2 27B Q8 Gemma 2 2B FP16 Gemma 2 2B Q4 Gemma 2 2B Q5 Gemma 2 2B Q8 Gemma 2 9B FP16 Gemma 2 9B Q4 Gemma 2 9B Q5 Gemma 2 9B Q8 Gemma 2B FP16 Gemma 2B Q4 Gemma 2B Q5 Gemma 2B Q8 Gemma 3 12B FP16 Gemma 3 12B Q4 Gemma 3 12B Q5 Gemma 3 12B Q8 Gemma 3 1B FP16 Gemma 3 1B Q4 Gemma 3 1B Q5 Gemma 3 1B Q8 Gemma 3 270M FP16 Gemma 3 270M Q4 Gemma 3 270M Q5 Gemma 3 270M Q8 Gemma 3 4B FP16 Gemma 3 4B Q4 Gemma 3 4B Q5 Gemma 3 4B Q8 Gemma 3n E2B FP16 Gemma 3n E2B Q4 Gemma 3n E2B Q5 Gemma 3n E2B Q8 Gemma 3n E4B FP16 Gemma 3n E4B Q4 Gemma 3n E4B Q5 Gemma 3n E4B Q8 Gemma 7B FP16 Gemma 7B Q4 Gemma 7B Q5 Gemma 7B Q8 Gemma4 26B FP16 Gemma4 26B Q4 Gemma4 26B Q5 Gemma4 26B Q8 Gemma4 E2B FP16 Gemma4 E2B Q4 Gemma4 E2B Q5 Gemma4 E2B Q8 GPT-OSS 120B CLOUD GPT-OSS 120B FP16 GPT-OSS 120B Q4 GPT-OSS 120B Q5 GPT-OSS 120B Q8 Granite 3.1 MoE 1B FP16 Granite 3.1 MoE 1B Q4 Granite 3.1 MoE 1B Q5 Granite 3.1 MoE 1B Q8 Granite 3.1 MoE 3B FP16 Granite 3.1 MoE 3B Q4 Granite 3.1 MoE 3B Q5 Granite 3.1 MoE 3B Q8 Granite4.1 30B FP16 Granite4.1 30B Q4 Granite4.1 30B Q5 Granite4.1 30B Q8 Llama 2 13B FP16 Llama 2 13B Q4 Llama 2 13B Q5 Llama 2 13B Q8 Llama 2 70B FP16 Llama 2 70B Q4 Llama 2 70B Q5 Llama 2 70B Q8 Llama 2 7B FP16 Llama 2 7B Q4 Llama 2 7B Q5 Llama 2 7B Q8 Llama 3 70B FP16 Llama 3 70B Q4 Llama 3 70B Q5 Llama 3 70B Q8 Llama 3 8B FP16 Llama 3 8B Q4 Llama 3 8B Q5 Llama 3 8B Q8 Llama 3.1 405B FP16 Llama 3.1 405B Q4 Llama 3.1 405B Q5 Llama 3.1 405B Q8 Llama 3.1 70B FP16 Llama 3.1 70B Q4 Llama 3.1 70B Q5 Llama 3.1 70B Q8 Llama 3.1 8B FP16 Llama 3.1 8B Q4 Llama 3.1 8B Q5 Llama 3.1 8B Q8 Llama 3.2 1B FP16 Llama 3.2 1B Q4 Llama 3.2 1B Q5 Llama 3.2 1B Q8 Llama 3.2 3B FP16 Llama 3.2 3B Q4 Llama 3.2 3B Q5 Llama 3.2 3B Q8 Llama 3.2 Vision 11B FP16 Llama 3.2 Vision 11B Q4 Llama 3.2 Vision 11B Q5 Llama 3.2 Vision 11B Q8 Llama 3.2 Vision 90B FP16 Llama 3.2 Vision 90B Q4 Llama 3.2 Vision 90B Q5 Llama 3.2 Vision 90B Q8 Llama 4 128X17B FP16 Llama 4 128X17B Q4 Llama 4 128X17B Q5 Llama 4 128X17B Q8 LLaVA 13B FP16 LLaVA 13B Q4 LLaVA 13B Q5 LLaVA 13B Q8 LLaVA 34B FP16 LLaVA 34B Q4 LLaVA 34B Q5 LLaVA 34B Q8 LLaVA 7B FP16 LLaVA 7B Q4 LLaVA 7B Q5 LLaVA 7B Q8 LLaVA Llama3 8B FP16 LLaVA Llama3 8B Q4 LLaVA Llama3 8B Q5 LLaVA Llama3 8B Q8 Magistral 24B FP16 Magistral 24B Q4 Magistral 24B Q5 Magistral 24B Q8 MiniCPM-V 8B FP16 MiniCPM-V 8B Q4 MiniCPM-V 8B Q5 MiniCPM-V 8B Q8 Mistral 7B FP16 Mistral 7B Q4 Mistral 7B Q5 Mistral 7B Q8 Mistral Nemo 12B FP16 Mistral Nemo 12B Q4 Mistral Nemo 12B Q5 Mistral Nemo 12B Q8 Mistral Small 24B FP16 Mistral Small 24B Q4 Mistral Small 24B Q5 Mistral Small 24B Q8 Mixtral 8X22B FP16 Mixtral 8X22B Q4 Mixtral 8X22B Q5 Mixtral 8X22B Q8 Mixtral 8X7B FP16 Mixtral 8X7B Q4 Mixtral 8X7B Q5 Mixtral 8X7B Q8 MXBAI Embed Large 335M FP16 Nemotron3 33B FP16 Nemotron3 33B Q4 Nemotron3 33B Q5 Nemotron3 33B Q8 Nomic Embed Text 137M FP16 OLMo 2 13B FP16 OLMo 2 13B Q4 OLMo 2 13B Q5 OLMo 2 13B Q8 OLMo 2 7B FP16 OLMo 2 7B Q4 OLMo 2 7B Q5 OLMo 2 7B Q8 Olmo 3.1 32B FP16 Olmo 3.1 32B FP16 Olmo 3.1 32B Q4 Olmo 3.1 32B Q4 Olmo 3.1 32B Q5 Olmo 3.1 32B Q5 Olmo 3.1 32B Q8 Olmo 3.1 32B Q8 OpenHermes 7B FP16 OpenHermes 7B Q4 OpenHermes 7B Q5 OpenHermes 7B Q8 Phi-3 14B FP16 Phi-3 14B Q4 Phi-3 14B Q5 Phi-3 14B Q8 Phi-3 3.8B FP16 Phi-3 3.8B Q4 Phi-3 3.8B Q5 Phi-3 3.8B Q8 Phi-4 14B FP16 Phi-4 14B Q4 Phi-4 14B Q5 Phi-4 14B Q8 Phi-4 Reasoning 14B FP16 Phi-4 Reasoning 14B Q4 Phi-4 Reasoning 14B Q5 Phi-4 Reasoning 14B Q8 Qwen 0.5B FP16 Qwen 0.5B Q4 Qwen 0.5B Q5 Qwen 0.5B Q8 Qwen 1.8B FP16 Qwen 1.8B Q4 Qwen 1.8B Q5 Qwen 1.8B Q8 Qwen 110B FP16 Qwen 110B Q4 Qwen 110B Q5 Qwen 110B Q8 Qwen 14B FP16 Qwen 14B Q4 Qwen 14B Q5 Qwen 14B Q8 Qwen 32B FP16 Qwen 32B Q4 Qwen 32B Q5 Qwen 32B Q8 Qwen 4B FP16 Qwen 4B Q4 Qwen 4B Q5 Qwen 4B Q8 Qwen 72B FP16 Qwen 72B Q4 Qwen 72B Q5 Qwen 72B Q8 Qwen 7B FP16 Qwen 7B Q4 Qwen 7B Q5 Qwen 7B Q8 Qwen2 0.5B FP16 Qwen2 0.5B Q4 Qwen2 0.5B Q5 Qwen2 0.5B Q8 Qwen2 1.5B FP16 Qwen2 1.5B Q4 Qwen2 1.5B Q5 Qwen2 1.5B Q8 Qwen2 72B FP16 Qwen2 72B Q4 Qwen2 72B Q5 Qwen2 72B Q8 Qwen2 7B FP16 Qwen2 7B Q4 Qwen2 7B Q5 Qwen2 7B Q8 Qwen2.5 0.5B FP16 Qwen2.5 0.5B Q4 Qwen2.5 0.5B Q5 Qwen2.5 0.5B Q8 Qwen2.5 1.5B FP16 Qwen2.5 1.5B Q4 Qwen2.5 1.5B Q5 Qwen2.5 1.5B Q8 Qwen2.5 32B FP16 Qwen2.5 32B Q4 Qwen2.5 32B Q5 Qwen2.5 32B Q8 Qwen2.5 3B FP16 Qwen2.5 3B Q4 Qwen2.5 3B Q5 Qwen2.5 3B Q8 Qwen2.5 72B FP16 Qwen2.5 72B Q4 Qwen2.5 72B Q5 Qwen2.5 72B Q8 Qwen2.5 7B FP16 Qwen2.5 7B Q4 Qwen2.5 7B Q5 Qwen2.5 7B Q8 Qwen2.5 Coder 0.5B FP16 Qwen2.5 Coder 0.5B Q4 Qwen2.5 Coder 0.5B Q5 Qwen2.5 Coder 0.5B Q8 Qwen2.5 Coder 1.5B FP16 Qwen2.5 Coder 1.5B Q4 Qwen2.5 Coder 1.5B Q5 Qwen2.5 Coder 1.5B Q8 Qwen2.5 Coder 14B FP16 Qwen2.5 Coder 14B Q4 Qwen2.5 Coder 14B Q5 Qwen2.5 Coder 14B Q8 Qwen2.5 Coder 3B FP16 Qwen2.5 Coder 3B Q4 Qwen2.5 Coder 3B Q5 Qwen2.5 Coder 3B Q8 Qwen2.5 Coder 7B FP16 Qwen2.5 Coder 7B Q4 Qwen2.5 Coder 7B Q5 Qwen2.5 Coder 7B Q8 Qwen2.5 VL 32B FP16 Qwen2.5 VL 32B Q4 Qwen2.5 VL 32B Q5 Qwen2.5 VL 32B Q8 Qwen2.5 VL 3B FP16 Qwen2.5 VL 3B Q4 Qwen2.5 VL 3B Q5 Qwen2.5 VL 3B Q8 Qwen2.5 VL 72B FP16 Qwen2.5 VL 72B Q4 Qwen2.5 VL 72B Q5 Qwen2.5 VL 72B Q8 Qwen2.5 VL 7B FP16 Qwen2.5 VL 7B Q4 Qwen2.5 VL 7B Q5 Qwen2.5 VL 7B Q8 Qwen3 0.6B FP16 Qwen3 0.6B Q4 Qwen3 0.6B Q5 Qwen3 0.6B Q8 Qwen3 1.7B FP16 Qwen3 1.7B Q4 Qwen3 1.7B Q5 Qwen3 1.7B Q8 Qwen3 14B FP16 Qwen3 14B Q4 Qwen3 14B Q5 Qwen3 14B Q8 Qwen3 235B FP16 Qwen3 235B Q4 Qwen3 235B Q5 Qwen3 235B Q8 Qwen3 30B FP16 Qwen3 30B Q4 Qwen3 30B Q5 Qwen3 30B Q8 Qwen3 32B FP16 Qwen3 32B Q4 Qwen3 32B Q5 Qwen3 32B Q8 Qwen3 4B FP16 Qwen3 4B Q4 Qwen3 4B Q5 Qwen3 4B Q8 Qwen3 Coder 480B CLOUD Qwen3 Coder 480B FP16 Qwen3 Coder 480B Q4 Qwen3 Coder 480B Q5 Qwen3 Coder 480B Q8 Qwen3 Embedding 8B FP16 Qwen3 Embedding 8B Q4 Qwen3 Embedding 8B Q5 Qwen3 Embedding 8B Q8 Qwen3 VL 235B CLOUD Qwen3 VL 235B FP16 Qwen3 VL 235B Q4 Qwen3 VL 235B Q5 Qwen3 VL 235B Q8 Qwen3 VL 2B CLOUD Qwen3 VL 2B FP16 Qwen3 VL 2B Q4 Qwen3 VL 2B Q5 Qwen3 VL 2B Q8 Qwen3 VL 30B CLOUD Qwen3 VL 30B FP16 Qwen3 VL 30B Q5 Qwen3 VL 30B Q8 Qwen3 VL 32B CLOUD Qwen3 VL 32B FP16 Qwen3 VL 32B Q4 Qwen3 VL 32B Q5 Qwen3 VL 32B Q8 Qwen3 VL 4B CLOUD Qwen3 VL 4B FP16 Qwen3 VL 4B Q4 Qwen3 VL 4B Q5 Qwen3 VL 4B Q8 Qwen3 VL 8B CLOUD Qwen3 VL 8B FP16 Qwen3 VL 8B Q4 Qwen3 VL 8B Q5 Qwen3 VL 8B Q8 Qwen3.5 397B-A17B CLOUD SmolLM2 1.7B FP16 SmolLM2 1.7B Q4 SmolLM2 1.7B Q5 SmolLM2 1.7B Q8 SmolLM2 135M FP16 SmolLM2 135M Q4 SmolLM2 135M Q5 SmolLM2 135M Q8 SmolLM2 360M FP16 SmolLM2 360M Q4 SmolLM2 360M Q5 SmolLM2 360M Q8 Snowflake Arctic Embed 110M FP16 Snowflake Arctic Embed 137M FP16 Snowflake Arctic Embed 22M FP16 Snowflake Arctic Embed 335M FP16 Snowflake Arctic Embed 33M FP16 StarCoder2 15B FP16 StarCoder2 15B Q4 StarCoder2 15B Q5 StarCoder2 15B Q8 StarCoder2 3B FP16 StarCoder2 3B Q4 StarCoder2 3B Q5 StarCoder2 3B Q8 StarCoder2 7B FP16 StarCoder2 7B Q4 StarCoder2 7B Q5 StarCoder2 7B Q8 TinyLlama 1.1B FP16 TinyLlama 1.1B Q4 TinyLlama 1.1B Q5 TinyLlama 1.1B Q8 Zephyr 7B FP16 Zephyr 7B Q4 Zephyr 7B Q5 Zephyr 7B Q8
Use this before downloading large Ollama tags: download size is not the same as runtime VRAM, especially with long context.
We may earn a commission if you click links on this page.