Models and rerankers for RAG
Models and rerankers tagged for retrieval-augmented generation. On a RAG workload the retriever and the reranker often decide the answer, which is why embedding and reranking models are in this list too.
65 models · Open in the catalogue filter
- Codestral 25.08 — Mistral AI · 128K · proprietary
- Command A+ (05-2026) — Cohere · 218.75B · 128K · apache-2.0
- Command R (08-2024) — Cohere · 32.3B · 128K · cc-by-nc-4.0
- DeepSeek OCR — DeepSeek · 3.3B · mit
- DeepSeek OCR 2 — DeepSeek · 3.4B · apache-2.0
- DeepSeek-V3.2 — DeepSeek · 685.36B · 160K · mit
- DeepSeek-V4-Flash (0731) — DeepSeek · 304.18B · 1024K · mit
- Devstral Small 2 (24B) — Mistral AI · 24.01B · 256K · apache-2.0
- EmbeddingGemma 300M — Google DeepMind · 0.3B · 2K · gemma
- EuroLLM-9B-Instruct (2512) — EuroLLM (utter-project) · 9.15B · 32K · apache-2.0
- GLM-4 9B Chat 1M — Z.ai (Zhipu AI) · 9.5B · other
- GLM-5.3 — Z.ai (Zhipu AI) · 753.33B · 1024K · other
- GLM-OCR — Z.ai (Zhipu AI) · 1.33B · 128K · mit
- gpt-oss-120b — OpenAI · 116.83B · 128K · apache-2.0
- gpt-oss-20b — OpenAI · 20.91B · 128K · apache-2.0
- Granite 3.1 8B Instruct — IBM · 8.2B · apache-2.0
- Granite 3.2 8B Instruct — IBM · 8.2B · apache-2.0
- Granite 3.3 8B Instruct — IBM · 8.2B · apache-2.0
- Granite 4.0 3B Vision — IBM · 4B · apache-2.0
- Granite 4.1 30B — IBM · 28.9B · apache-2.0
- Granite 4.1 8B — IBM · 8.8B · apache-2.0
- Granite 4.2 30B — IBM · 29.3B · apache-2.0
- Granite 4.2 8B — IBM · 8.8B · apache-2.0
- Granite Docling 258M — IBM · 0.3B · apache-2.0
- Granite Vision 4.1 4B — IBM · 4B · apache-2.0
- gte-multilingual-reranker-base — Alibaba Qwen · 0.31B · 8K · apache-2.0
- HunyuanOCR — Tencent · 1.1B · other
- Llama 3.1 8B Instruct — Meta · 8.03B · 128K · llama3.1
- Llama 3.3 70B Instruct — Meta · 70.55B · 128K · llama3.3
- Llama 4 Scout 17B-16E Instruct — Meta · 108.64B · 10240K · other
- Llama Embed Nemotron 8B — NVIDIA · other
- Llama Nemotron Embed 1B V2 — NVIDIA · other
- Llama Nemotron Rerank 1B v2 — NVIDIA · 1.24B · 8K · other
- Llama Nemotron Rerank Vl 1B V2 — NVIDIA · other
- Mistral NeMo 12B Instruct — Mistral AI · 12.25B · 128K · apache-2.0
- multilingual-e5-large — Microsoft · 0.56B · 1K · mit
- NVIDIA Nemotron 3 Embed 1B — NVIDIA · other
- NVIDIA Nemotron 3 Embed 8B — NVIDIA · other
- NVIDIA Nemotron 3 Nano 4B — NVIDIA · 3.97B · 256K · other
- NVIDIA Nemotron 3 Super 120B-A12B — NVIDIA · 123.61B · 256K · other
- NVIDIA NV-Embed-v2 — NVIDIA · cc-by-nc-4.0
- OlmOCR 2 7B 1025 — Allen Institute for AI (Ai2) · 8.3B · apache-2.0
- OlmOCR 7B 0225 Preview — Allen Institute for AI (Ai2) · 8.3B · apache-2.0
- Pharia-1-Embedding-4608-control — Aleph Alpha · 7.03B · other
- Pharia-1-LLM-7B-control-aligned — Aleph Alpha · 7.04B · 8K · other
- Phi 3 Mini 128K Instruct — Microsoft · 3.8B · mit
- Phi 3 Vision 128K Instruct — Microsoft · 4.1B · mit
- Phi-4 — Microsoft · 14.66B · 16K · mit
- Pixtral 12B — Mistral AI · 12B · 128K · apache-2.0
- Qianfan OCR — Baidu · 4.7B · apache-2.0
- Qwen3 Embedding 0.6B — Alibaba Qwen · apache-2.0
- Qwen3 Embedding 4B — Alibaba Qwen · apache-2.0
- Qwen3 Embedding 8B — Alibaba Qwen · apache-2.0
- Qwen3 Reranker 0.6B — Alibaba Qwen · apache-2.0
- Qwen3 Reranker 4B — Alibaba Qwen · apache-2.0
- Qwen3 Reranker 8B — Alibaba Qwen · apache-2.0
- Qwen3 VL Embedding 2B — Alibaba Qwen · apache-2.0
- Qwen3 VL Embedding 8B — Alibaba Qwen · apache-2.0
- Qwen3 VL Reranker 2B — Alibaba Qwen · apache-2.0
- Qwen3 VL Reranker 8B — Alibaba Qwen · apache-2.0
- Qwen3-Coder-30B-A3B-Instruct — Alibaba Qwen · 30.53B · 256K · apache-2.0
- Qwen3-VL-8B-Instruct — Alibaba Qwen · 8.77B · 256K · apache-2.0
- Unlimited OCR — Baidu · 3.3B · mit
- WeVisDoc 2B — Tencent · 2.4B · apache-2.0
- Yi 9B 200K — 01.AI · 8.8B · apache-2.0
open-weights · eu-builders · german · french · long-context · coding · vision · audio · apache-2 · self-hostable · catalogue-only