vLLM 推論服務監控實戰:Prometheus + Grafana + MLflow(附 5 個踩坑筆記)
用 Prometheus + Grafana + MLflow 監控自架的 vLLM 推論服務——從架構、該看哪些指標、PromQL 查詢,到我實際踩過的 5 個坑(指標改名、子路徑 datasource、Dokploy 不重建…)。
用 Prometheus + Grafana + MLflow 監控自架的 vLLM 推論服務——從架構、該看哪些指標、PromQL 查詢,到我實際踩過的 5 個坑(指標改名、子路徑 datasource、Dokploy 不重建…)。