#vllm
3 Entdeckungen · Handverlesene Entdeckungen aus dem offenen Web, neueste zuerst.
-
Базовая настройка DGX Spark
Счастливым страдальцам владельцам Спарков посвящается... Перво-наперво — мега-респект героям китайского так называемого коммунистического труда (DeepSeek, Qwen, GLM, Kimi). Только благодаря их моделям этот мини-ящик стал реально полезным инструментом, несмотря на весь инженерный срам ниже. Знал бы я всё это полгода назад — сэкономил бы кучу киловатт, нервов от внезапных ночных отключений и часов созерцания температурных графиков. Рецепт универсальный: для любого движка и любого числа нод. чё там за срам
Habr · RU
-
Monitoring vLLM in Production: Metrics, PromQL, Alerts, and Runbooks
Published: 2026-01-28 Updated: 2026-06-18 Version scope: This guide targets vLLM 0.23.x and its default V1 engine. Metric names and semantics change between releases, so verify the /metrics output of the exact version and serving configuration you run before copying queries or alerts into production. A vLLM server can pass Kubernetes health checks while users experience slow or unstable responses. Requests may wait in the scheduler, long prompts may make prefill expensive, or token streaming may become uneven. This guide focuses on the metrics needed to diagnose latency, scheduler backlog, KV-
Andrey Krisanov · EN