Sizing Storage

Once you get a clear idea who-are-who on the complicated I/O latency world (review other two post here and here).....you need to think about the general rules and best practices to sizing storage for your IOPS needs.

GAVG (Guest Average Latency) total latency as seen from vSphere
KAVG (Kernel Average Latency) time an I/O request spent waiting inside the vSphere storage stack.
QAVG (Queue Average latency) time spent waiting in a queue inside the vSphere Storage Stack.

DAVG (Device Average Latency) latency coming from the physical hardware, HBA and Storage device.

Bad performance if:

High Device Latency: Device Average Latency (DAVG) consistently greater than 20 to 30 ms may cause a performance problem for your typical application.
High Kernel Latency: Kernel Average Latency (KAVG) should usually be 0 in an ideal environment, but anything greater than 2 ms may be a performance problem.

And now, what about the storage?

The typical workload show on this picture, is for the most of the virtual machines, but, othre types like DDBB are so different and will need special configuration like dedicated raidgroups, ssd cache pools, etc.

It´s so important when planning and sizing a infrastructure to bear in mind not only the storage, it´s a mix with the raid conf, diskt typs (ssd, sas, sata), the storage protocol (FC, FCoE, iSCSI or NFS), networking and conf (cabling, switch, vlans conf), vmware conf (storage adapters, datastores conf (vmfs, rdm, advanced parameters) and so on.

Analizar disc bottlenecks en VMware

Para analizar los cuellos de botella en VMware podemos utilizar las gráficas del performance de los host o bien utilizando el comando esxtop.  Básicamente tenemos que fijarnos en los parámetros que nos reportan info sobre la latencia que determinara en buen o mal rendimiento del storage (cabina).

>>>>Con la grafica performance:

Kernel disk command latency: mide el tiempo que tarda el VMkernel en procesar una peticion scsi y no debe ser superior a 3 ms. Si es superior el problema puede deberse a un carga muy alta de trabajo o bien en el ESXi o bien en la cabina, lo que quiere decir que se estan enviados mas throughput a la cabina de la que puede soportar.

Physical device command latency: mide el tiempo que el disco de la cabina necesita para ejecutar completamente una peticion scsi y no debe ser superior a 15 ms. Si es superior el problema esta en la cabina, esos si, depende del fabricante y de lo epserado para su rendimiento ya que no es lo mismo un cabina con discos SAS que SATA, o que este conectada con NFS o FC. Una solucion seria mover los vmdk a una lun con mas discos fisicos por debajo o agregar mas discos fisicos  a la LUN.

>>>>Con ESXTOP:

KAVG: "Esta es la cantidad de tiempo que el comando pasa en el VMkernel".  El tiempo o latencia que se produce desde que se pide un dato a la cabina hasta que lo procesa VMkernel del ESXi. Su valor debe rondar el 0.

DAVG: "Este es el tiempo promedio de respuesta en milisegundos por comando enviado al dispositivo"  Es el tiempo o latencia desde que el ESXi ejecuta el comando de peticion del dato al disco (KAVG) hasta que la cabina devuelve este dato. Si este valor esta por encima de los 20 ms el problema esta en la cabina.

GAVG: (KAVG + DAVG). "Este es el tiempo de respuesta, que es percibido por el sistema operativo Guest. Este número se calcula con la fórmula:  DAVG + KAVG = GAVG". Este es el valor de latencia que qfecta a la maquina virtual directamente.

Segun VMware , ninguno de estos valores debe sobrepasar los 10 ms durante periodos prolongados de tiempo, lo que no dicen es cuanto consideran que es un periodo prolongado de tiempo.

>>>>Revisando los LOG:

Si se producen problemas de latencia con tiempos altos, podemos ver en los logs los errores iscsi en las siguientes rutas en funcion de la version del ESXi:

          ESX 3.5 and 4.x – /var/log/vmkernel

         ESXi 3.5 and 4.x – /var/log/messages 

         ESXi 5.x - /var/log/vmkernel.log

El tipo de registro de almacenamiento que puede ver en estos archivos depende de la configuración del servidor. Usted puede encontrar el valor de estas opciones en:  Host > Configuration > Advanced Settings > SCSI > SCSI.Log or SCSI.Print.

>>>Lectura recomendada: vSphere Monitoring and Performance vSphere 5.1

Valores de rendimiento para VMware (VMware Performance Indicators)

Para saber si el rendimiento de nuestras maquinas virtuales sobre una plataforma VMware vSphere es bueno o malo, debemos fijarnos en las siguientes métricas y valores máximos para considerar que el performance es aceptable:

Performance Area	Object	Counter	Acceptable range
CPU	Host	Usage	Less than 80%
CPU	Virtual Machine	Ready	Less than 3%
Memory	Host	Consumed	General trend is stable
Memory	Host	Balloon/Swap used	0 Kb
Disk	Specific datastore	Kernel command latency	Less than 3ms
Disk	Specific datastore	Physical device command latency	Less than 20ms
Disk	Specific datastore	Average commands issued per second	Less than LUN capacity
Network	Host	Receive packets dropped/Transmit packets dropped	0 packets

.