Luego desde tu app:
# Instalar vLLM pip install vllm python -m vllm.entrypoints.openai.api_server --model deepseek-ai/deepseek-llm-7b-chat --tensor-parallel-size 1 --max-num-batched-tokens 4096 --port 8000 Luego desde tu app: # Instalar vLLM pip
respuesta = qa_chain("¿Cómo configurar el parámetro X en el sistema?") print(respuesta["result"]) Para documentos masivos, puedes inyectar todo el contexto directamente: Luego desde tu app: # Instalar vLLM pip
FROM vllm/vllm-openai:latest COPY --chown=ray:ray ./model_cache /root/.cache/huggingface ENV HF_HOME=/root/.cache/huggingface CMD ["--model", "deepseek-ai/deepseek-llm-7b-chat", "--port", "8000"] : Luego desde tu app: # Instalar vLLM pip