Ai · Docker

Litellm

Call all LLM APIs using the OpenAI format. Use Bedrock, Azure, OpenAI, Cohere, Anthropic, Ollama, Sagemaker, HuggingFace, Replicate, Groq (100+ LLMs).

Criar conta Entre para provisionar

Descrição

Call all LLM APIs using the OpenAI format. Use Bedrock, Azure, OpenAI, Cohere, Anthropic, Ollama, Sagemaker, HuggingFace, Replicate, Groq (100+ LLMs).

Recursos recomendados

2 vCPU · 4 GB RAM · 20 GB disk

SO compatível:
  • Ubuntu 22.04
  • Ubuntu 24.04
  • Debian 11
  • Debian 12

Etapas de instalação

  1. Instalar Docker

  2. Configurar Litellm

  3. Disponibilizar serviço na porta 4000

Stacks relacionados

AnythingLLM

AnythingLLM is the easiest to use, all-in-one AI application that can do RAG, AI Agents, and much more with no code or infrastructure headaches. Aloca automaticamente uma porta livre (3001, 3002, …).
Argilla

Argilla is a collaboration tool for AI engineers and domain experts who need to build high-quality datasets for their projects.
Chroma

Chroma is the open-source search and retrieval database for AI applications.

Pronto para instalar Litellm?

Conecte ao seu plano em nuvem ou instale em um servidor existente.

Criar conta