add dashboard
This commit is contained in:
jrodriiguezg
@@ -0,0 +1,531 @@
|
|||||||
|
apiVersion: dashboard.grafana.app/v2
|
||||||
|
kind: Dashboard
|
||||||
|
metadata:
|
||||||
|
name: addtgbw
|
||||||
|
generation: 1
|
||||||
|
creationTimestamp: '2026-09-09T15:54:24Z'
|
||||||
|
labels: {}
|
||||||
|
annotations: {}
|
||||||
|
spec:
|
||||||
|
annotations:
|
||||||
|
- kind: AnnotationQuery
|
||||||
|
spec:
|
||||||
|
query:
|
||||||
|
kind: DataQuery
|
||||||
|
group: grafana
|
||||||
|
version: v0
|
||||||
|
spec: {}
|
||||||
|
labels:
|
||||||
|
grafana.app/export-label: grafana-1
|
||||||
|
enable: true
|
||||||
|
hide: true
|
||||||
|
iconColor: rgba(0, 211, 255, 1)
|
||||||
|
name: Annotations & Alerts
|
||||||
|
builtIn: true
|
||||||
|
cursorSync: 'Off'
|
||||||
|
description: ''
|
||||||
|
editable: true
|
||||||
|
elements:
|
||||||
|
panel-1:
|
||||||
|
kind: Panel
|
||||||
|
spec:
|
||||||
|
id: 1
|
||||||
|
title: TTFT
|
||||||
|
description: ''
|
||||||
|
links: []
|
||||||
|
data:
|
||||||
|
kind: QueryGroup
|
||||||
|
spec:
|
||||||
|
queries:
|
||||||
|
- kind: PanelQuery
|
||||||
|
spec:
|
||||||
|
query:
|
||||||
|
kind: DataQuery
|
||||||
|
group: prometheus
|
||||||
|
version: v0
|
||||||
|
spec:
|
||||||
|
editorMode: code
|
||||||
|
expr: >-
|
||||||
|
histogram_quantile(0.95,
|
||||||
|
sum(rate(vllm:time_to_first_token_seconds_bucket[2m]))
|
||||||
|
by (le))
|
||||||
|
legendFormat: __auto
|
||||||
|
range: true
|
||||||
|
labels:
|
||||||
|
grafana.app/export-label: prometheus-1
|
||||||
|
grafana.app/export-datasource-name: Prometheus
|
||||||
|
refId: A
|
||||||
|
hidden: false
|
||||||
|
transformations: []
|
||||||
|
queryOptions: {}
|
||||||
|
vizConfig:
|
||||||
|
kind: VizConfig
|
||||||
|
group: timeseries
|
||||||
|
version: 13.2.1
|
||||||
|
spec:
|
||||||
|
options:
|
||||||
|
legend:
|
||||||
|
calcs: []
|
||||||
|
displayMode: list
|
||||||
|
placement: bottom
|
||||||
|
showLegend: true
|
||||||
|
tooltip:
|
||||||
|
hideZeros: false
|
||||||
|
mode: single
|
||||||
|
sort: none
|
||||||
|
fieldConfig:
|
||||||
|
defaults:
|
||||||
|
thresholds:
|
||||||
|
mode: absolute
|
||||||
|
steps:
|
||||||
|
- value: 0
|
||||||
|
color: green
|
||||||
|
- value: 80
|
||||||
|
color: red
|
||||||
|
color:
|
||||||
|
mode: palette-classic
|
||||||
|
custom:
|
||||||
|
axisBorderShow: false
|
||||||
|
axisCenteredZero: false
|
||||||
|
axisColorMode: text
|
||||||
|
axisLabel: ''
|
||||||
|
axisPlacement: auto
|
||||||
|
barAlignment: 0
|
||||||
|
barWidthFactor: 0.6
|
||||||
|
drawStyle: line
|
||||||
|
fillOpacity: 0
|
||||||
|
gradientMode: none
|
||||||
|
hideFrom:
|
||||||
|
legend: false
|
||||||
|
tooltip: false
|
||||||
|
viz: false
|
||||||
|
insertNulls: false
|
||||||
|
lineInterpolation: linear
|
||||||
|
lineWidth: 1
|
||||||
|
pointSize: 5
|
||||||
|
scaleDistribution:
|
||||||
|
type: linear
|
||||||
|
showPoints: auto
|
||||||
|
showValues: false
|
||||||
|
spanNulls: false
|
||||||
|
stacking:
|
||||||
|
group: A
|
||||||
|
mode: none
|
||||||
|
thresholdsStyle:
|
||||||
|
mode: 'off'
|
||||||
|
overrides: []
|
||||||
|
panel-2:
|
||||||
|
kind: Panel
|
||||||
|
spec:
|
||||||
|
id: 2
|
||||||
|
title: TPOT
|
||||||
|
description: ''
|
||||||
|
links: []
|
||||||
|
data:
|
||||||
|
kind: QueryGroup
|
||||||
|
spec:
|
||||||
|
queries:
|
||||||
|
- kind: PanelQuery
|
||||||
|
spec:
|
||||||
|
query:
|
||||||
|
kind: DataQuery
|
||||||
|
group: prometheus
|
||||||
|
version: v0
|
||||||
|
spec:
|
||||||
|
editorMode: code
|
||||||
|
expr: >-
|
||||||
|
histogram_quantile(0.95,
|
||||||
|
sum(rate(vllm:request_time_per_output_token_seconds_bucket[2m]))
|
||||||
|
by (le))
|
||||||
|
legendFormat: __auto
|
||||||
|
range: true
|
||||||
|
labels:
|
||||||
|
grafana.app/export-label: prometheus-1
|
||||||
|
grafana.app/export-datasource-name: Prometheus
|
||||||
|
refId: A
|
||||||
|
hidden: false
|
||||||
|
transformations: []
|
||||||
|
queryOptions: {}
|
||||||
|
vizConfig:
|
||||||
|
kind: VizConfig
|
||||||
|
group: timeseries
|
||||||
|
version: 13.2.1
|
||||||
|
spec:
|
||||||
|
options:
|
||||||
|
legend:
|
||||||
|
calcs: []
|
||||||
|
displayMode: list
|
||||||
|
placement: bottom
|
||||||
|
showLegend: true
|
||||||
|
tooltip:
|
||||||
|
hideZeros: false
|
||||||
|
mode: single
|
||||||
|
sort: none
|
||||||
|
fieldConfig:
|
||||||
|
defaults:
|
||||||
|
thresholds:
|
||||||
|
mode: absolute
|
||||||
|
steps:
|
||||||
|
- value: 0
|
||||||
|
color: green
|
||||||
|
- value: 80
|
||||||
|
color: red
|
||||||
|
color:
|
||||||
|
mode: palette-classic
|
||||||
|
custom:
|
||||||
|
axisBorderShow: false
|
||||||
|
axisCenteredZero: false
|
||||||
|
axisColorMode: text
|
||||||
|
axisLabel: ''
|
||||||
|
axisPlacement: auto
|
||||||
|
barAlignment: 0
|
||||||
|
barWidthFactor: 0.6
|
||||||
|
drawStyle: line
|
||||||
|
fillOpacity: 0
|
||||||
|
gradientMode: none
|
||||||
|
hideFrom:
|
||||||
|
legend: false
|
||||||
|
tooltip: false
|
||||||
|
viz: false
|
||||||
|
insertNulls: false
|
||||||
|
lineInterpolation: linear
|
||||||
|
lineWidth: 1
|
||||||
|
pointSize: 5
|
||||||
|
scaleDistribution:
|
||||||
|
type: linear
|
||||||
|
showPoints: auto
|
||||||
|
showValues: false
|
||||||
|
spanNulls: false
|
||||||
|
stacking:
|
||||||
|
group: A
|
||||||
|
mode: none
|
||||||
|
thresholdsStyle:
|
||||||
|
mode: 'off'
|
||||||
|
overrides: []
|
||||||
|
panel-3:
|
||||||
|
kind: Panel
|
||||||
|
spec:
|
||||||
|
id: 3
|
||||||
|
title: Uso de memoria KV Cache
|
||||||
|
description: ''
|
||||||
|
links: []
|
||||||
|
data:
|
||||||
|
kind: QueryGroup
|
||||||
|
spec:
|
||||||
|
queries:
|
||||||
|
- kind: PanelQuery
|
||||||
|
spec:
|
||||||
|
query:
|
||||||
|
kind: DataQuery
|
||||||
|
group: prometheus
|
||||||
|
version: v0
|
||||||
|
spec:
|
||||||
|
editorMode: code
|
||||||
|
expr: vllm:kv_cache_usage_perc * 100
|
||||||
|
legendFormat: __auto
|
||||||
|
range: true
|
||||||
|
labels:
|
||||||
|
grafana.app/export-label: prometheus-1
|
||||||
|
grafana.app/export-datasource-name: Prometheus
|
||||||
|
refId: A
|
||||||
|
hidden: false
|
||||||
|
transformations: []
|
||||||
|
queryOptions: {}
|
||||||
|
vizConfig:
|
||||||
|
kind: VizConfig
|
||||||
|
group: gauge
|
||||||
|
version: 13.2.1
|
||||||
|
spec:
|
||||||
|
options:
|
||||||
|
barShape: flat
|
||||||
|
barWidthFactor: 0.5
|
||||||
|
effects:
|
||||||
|
barGlow: false
|
||||||
|
centerGlow: false
|
||||||
|
gradient: true
|
||||||
|
endpointMarker: point
|
||||||
|
minVizHeight: 75
|
||||||
|
minVizWidth: 75
|
||||||
|
orientation: auto
|
||||||
|
reduceOptions:
|
||||||
|
calcs:
|
||||||
|
- lastNotNull
|
||||||
|
fields: ''
|
||||||
|
values: false
|
||||||
|
segmentCount: 1
|
||||||
|
segmentSpacing: 0.3
|
||||||
|
shape: gauge
|
||||||
|
showThresholdLabels: false
|
||||||
|
showThresholdMarkers: true
|
||||||
|
sizing: auto
|
||||||
|
sparkline: true
|
||||||
|
textMode: auto
|
||||||
|
fieldConfig:
|
||||||
|
defaults:
|
||||||
|
unit: percent
|
||||||
|
min: 0
|
||||||
|
max: 100
|
||||||
|
thresholds:
|
||||||
|
mode: absolute
|
||||||
|
steps:
|
||||||
|
- value: 0
|
||||||
|
color: green
|
||||||
|
- value: 80
|
||||||
|
color: red
|
||||||
|
color:
|
||||||
|
mode: thresholds
|
||||||
|
overrides: []
|
||||||
|
panel-4:
|
||||||
|
kind: Panel
|
||||||
|
spec:
|
||||||
|
id: 4
|
||||||
|
title: Concurrencia en tiempo real
|
||||||
|
description: ''
|
||||||
|
links: []
|
||||||
|
data:
|
||||||
|
kind: QueryGroup
|
||||||
|
spec:
|
||||||
|
queries:
|
||||||
|
- kind: PanelQuery
|
||||||
|
spec:
|
||||||
|
query:
|
||||||
|
kind: DataQuery
|
||||||
|
group: prometheus
|
||||||
|
version: v0
|
||||||
|
spec:
|
||||||
|
editorMode: code
|
||||||
|
expr: vllm:num_requests_running
|
||||||
|
legendFormat: __auto
|
||||||
|
range: true
|
||||||
|
labels:
|
||||||
|
grafana.app/export-label: prometheus-1
|
||||||
|
grafana.app/export-datasource-name: Prometheus
|
||||||
|
refId: A
|
||||||
|
hidden: false
|
||||||
|
- kind: PanelQuery
|
||||||
|
spec:
|
||||||
|
query:
|
||||||
|
kind: DataQuery
|
||||||
|
group: prometheus
|
||||||
|
version: v0
|
||||||
|
spec:
|
||||||
|
editorMode: code
|
||||||
|
expr: vllm:num_requests_waiting
|
||||||
|
instant: false
|
||||||
|
legendFormat: __auto
|
||||||
|
range: true
|
||||||
|
labels:
|
||||||
|
grafana.app/export-label: prometheus-1
|
||||||
|
grafana.app/export-datasource-name: Prometheus
|
||||||
|
refId: B
|
||||||
|
hidden: false
|
||||||
|
transformations: []
|
||||||
|
queryOptions: {}
|
||||||
|
vizConfig:
|
||||||
|
kind: VizConfig
|
||||||
|
group: timeseries
|
||||||
|
version: 13.2.1
|
||||||
|
spec:
|
||||||
|
options:
|
||||||
|
legend:
|
||||||
|
calcs: []
|
||||||
|
displayMode: list
|
||||||
|
placement: bottom
|
||||||
|
showLegend: true
|
||||||
|
tooltip:
|
||||||
|
hideZeros: false
|
||||||
|
mode: single
|
||||||
|
sort: none
|
||||||
|
fieldConfig:
|
||||||
|
defaults:
|
||||||
|
thresholds:
|
||||||
|
mode: absolute
|
||||||
|
steps:
|
||||||
|
- value: 0
|
||||||
|
color: green
|
||||||
|
- value: 80
|
||||||
|
color: red
|
||||||
|
color:
|
||||||
|
mode: palette-classic
|
||||||
|
custom:
|
||||||
|
axisBorderShow: false
|
||||||
|
axisCenteredZero: false
|
||||||
|
axisColorMode: text
|
||||||
|
axisLabel: ''
|
||||||
|
axisPlacement: auto
|
||||||
|
barAlignment: 0
|
||||||
|
barWidthFactor: 0.6
|
||||||
|
drawStyle: line
|
||||||
|
fillOpacity: 0
|
||||||
|
gradientMode: none
|
||||||
|
hideFrom:
|
||||||
|
legend: false
|
||||||
|
tooltip: false
|
||||||
|
viz: false
|
||||||
|
insertNulls: false
|
||||||
|
lineInterpolation: linear
|
||||||
|
lineWidth: 1
|
||||||
|
pointSize: 5
|
||||||
|
scaleDistribution:
|
||||||
|
type: linear
|
||||||
|
showPoints: auto
|
||||||
|
showValues: false
|
||||||
|
spanNulls: false
|
||||||
|
stacking:
|
||||||
|
group: A
|
||||||
|
mode: none
|
||||||
|
thresholdsStyle:
|
||||||
|
mode: 'off'
|
||||||
|
overrides: []
|
||||||
|
panel-5:
|
||||||
|
kind: Panel
|
||||||
|
spec:
|
||||||
|
id: 5
|
||||||
|
title: Latencia Total E2E
|
||||||
|
description: ''
|
||||||
|
links: []
|
||||||
|
data:
|
||||||
|
kind: QueryGroup
|
||||||
|
spec:
|
||||||
|
queries:
|
||||||
|
- kind: PanelQuery
|
||||||
|
spec:
|
||||||
|
query:
|
||||||
|
kind: DataQuery
|
||||||
|
group: prometheus
|
||||||
|
version: v0
|
||||||
|
spec:
|
||||||
|
editorMode: code
|
||||||
|
expr: >-
|
||||||
|
histogram_quantile(0.95,
|
||||||
|
sum(rate(vllm:e2e_request_latency_seconds_bucket[2m]))
|
||||||
|
by (le))
|
||||||
|
legendFormat: __auto
|
||||||
|
range: true
|
||||||
|
labels:
|
||||||
|
grafana.app/export-label: prometheus-1
|
||||||
|
grafana.app/export-datasource-name: Prometheus
|
||||||
|
refId: A
|
||||||
|
hidden: false
|
||||||
|
transformations: []
|
||||||
|
queryOptions: {}
|
||||||
|
vizConfig:
|
||||||
|
kind: VizConfig
|
||||||
|
group: timeseries
|
||||||
|
version: 13.2.1
|
||||||
|
spec:
|
||||||
|
options:
|
||||||
|
legend:
|
||||||
|
calcs: []
|
||||||
|
displayMode: list
|
||||||
|
placement: bottom
|
||||||
|
showLegend: true
|
||||||
|
tooltip:
|
||||||
|
hideZeros: false
|
||||||
|
mode: single
|
||||||
|
sort: none
|
||||||
|
fieldConfig:
|
||||||
|
defaults:
|
||||||
|
thresholds:
|
||||||
|
mode: absolute
|
||||||
|
steps:
|
||||||
|
- value: 0
|
||||||
|
color: green
|
||||||
|
- value: 80
|
||||||
|
color: red
|
||||||
|
color:
|
||||||
|
mode: palette-classic
|
||||||
|
custom:
|
||||||
|
axisBorderShow: false
|
||||||
|
axisCenteredZero: false
|
||||||
|
axisColorMode: text
|
||||||
|
axisLabel: ''
|
||||||
|
axisPlacement: auto
|
||||||
|
barAlignment: 0
|
||||||
|
barWidthFactor: 0.6
|
||||||
|
drawStyle: line
|
||||||
|
fillOpacity: 0
|
||||||
|
gradientMode: none
|
||||||
|
hideFrom:
|
||||||
|
legend: false
|
||||||
|
tooltip: false
|
||||||
|
viz: false
|
||||||
|
insertNulls: false
|
||||||
|
lineInterpolation: linear
|
||||||
|
lineWidth: 1
|
||||||
|
pointSize: 5
|
||||||
|
scaleDistribution:
|
||||||
|
type: linear
|
||||||
|
showPoints: auto
|
||||||
|
showValues: false
|
||||||
|
spanNulls: false
|
||||||
|
stacking:
|
||||||
|
group: A
|
||||||
|
mode: none
|
||||||
|
thresholdsStyle:
|
||||||
|
mode: 'off'
|
||||||
|
overrides: []
|
||||||
|
layout:
|
||||||
|
kind: AutoGridLayout
|
||||||
|
spec:
|
||||||
|
maxColumnCount: 3
|
||||||
|
columnWidthMode: standard
|
||||||
|
rowHeightMode: standard
|
||||||
|
items:
|
||||||
|
- kind: AutoGridLayoutItem
|
||||||
|
spec:
|
||||||
|
element:
|
||||||
|
kind: ElementReference
|
||||||
|
name: panel-1
|
||||||
|
- kind: AutoGridLayoutItem
|
||||||
|
spec:
|
||||||
|
element:
|
||||||
|
kind: ElementReference
|
||||||
|
name: panel-2
|
||||||
|
- kind: AutoGridLayoutItem
|
||||||
|
spec:
|
||||||
|
element:
|
||||||
|
kind: ElementReference
|
||||||
|
name: panel-3
|
||||||
|
- kind: AutoGridLayoutItem
|
||||||
|
spec:
|
||||||
|
element:
|
||||||
|
kind: ElementReference
|
||||||
|
name: panel-4
|
||||||
|
- kind: AutoGridLayoutItem
|
||||||
|
spec:
|
||||||
|
element:
|
||||||
|
kind: ElementReference
|
||||||
|
name: panel-5
|
||||||
|
links: []
|
||||||
|
liveNow: false
|
||||||
|
preload: false
|
||||||
|
tags: []
|
||||||
|
timeSettings:
|
||||||
|
timezone: browser
|
||||||
|
from: now-6h
|
||||||
|
to: now
|
||||||
|
autoRefresh: ''
|
||||||
|
autoRefreshIntervals:
|
||||||
|
- 5s
|
||||||
|
- 10s
|
||||||
|
- 30s
|
||||||
|
- 1m
|
||||||
|
- 5m
|
||||||
|
- 15m
|
||||||
|
- 30m
|
||||||
|
- 1h
|
||||||
|
- 2h
|
||||||
|
- 1d
|
||||||
|
hideTimepicker: false
|
||||||
|
fiscalYearStartMonth: 0
|
||||||
|
title: vLLM Panel
|
||||||
|
variables: []
|
||||||
|
preferences:
|
||||||
|
layout:
|
||||||
|
kind: AutoGridLayout
|
||||||
|
spec:
|
||||||
|
maxColumnCount: 3
|
||||||
|
columnWidthMode: standard
|
||||||
|
rowHeightMode: standard
|
||||||
|
items: []
|
||||||
Reference in New Issue
Block a user