Parallel SSH - Ejecutar comandos remotos en multiples servidores

Todos sabemos que es SSH y que podemos hacer con él, pero hoy vamos a ver Parallel SSH.

Que es Parallel SSH:

Es un comando ó herramienta que nos permite conectarnos a varios servidores simultáneamente mediante SSH y poder ejecutar comandos sin ingresar uno por uno para ejecutarlos.

Instalamos el parallel-ssh:

root@debian:~# apt-get install pssh

Vemos como usarlo: 

root@debian:~# parallel-ssh --help
Usage: parallel-ssh [OPTIONS] command [...]
Options:
  --version             show program's version number and exit
  --help                show this help message and exit
  -h HOST_FILE, --hosts=HOST_FILE
                        hosts file (each line "[user@]host[:port]")
  -H HOST_STRING, --host=HOST_STRING
                        additional host entries ("[user@]host[:port]")
  -l USER, --user=USER  username (OPTIONAL)
  -p PAR, --par=PAR     max number of parallel threads (OPTIONAL)
  -o OUTDIR, --outdir=OUTDIR
                        output directory for stdout files (OPTIONAL)
  -e ERRDIR, --errdir=ERRDIR
                        output directory for stderr files (OPTIONAL)
  -t TIMEOUT, --timeout=TIMEOUT
                        timeout (secs) (0 = no timeout) per host (OPTIONAL)
  -O OPTION, --option=OPTION
                        SSH option (OPTIONAL)
  -v, --verbose         turn on warning and diagnostic messages (OPTIONAL)
  -A, --askpass         Ask for a password (OPTIONAL)
  -x ARGS, --extra-args=ARGS
                        Extra command-line arguments, with processing for
                        spaces, quotes, and backslashes
  -X ARG, --extra-arg=ARG
                        Extra command-line argument
  -i, --inline          inline aggregated output and error for each server
  --inline-stdout       inline standard output for each server
  -I, --send-input      read from standard input and send as input to ssh
  -P, --print           print output as we get it
Example: pssh -h hosts.txt -l irb2 -o /tmp/foo uptime

Editamos el archivo donde pondremos ip's de los servidores donde ejecutaremos los comandos:

root@debian:~# vi hosts.txt
192.168.0.100
192.168.0.200

Ejecutamos el comando en ambos servidores:

root@debian:~# parallel-ssh -h hosts.txt -l root -o /tmp/salida uptime
[1] 09:52:12 [SUCCESS] 192.168.0.100
[2] 09:52:12 [SUCCESS] 192.168.0.200 

-h listado de servidores donde ejecutaremos los comandos
-l usuario con el que se conectará por ssh. Tener en cuenta que debe tener configuradas las keys ssh para que no pida password.
-o directorio de salida donde mostrará la salida de cada comando
uptime el comando que ejecutará en cada servidor remoto

Vemos la salida de cada ip en la ruta que le pasamos con el -o: 

root@debian:~# ls -lat /tmp/salida.txt/
total 1930
drwxrwxrwt 7 root root 1971200 Dec 28 09:55 ..
-rw-r--r-- 1 root root      74 Dec 28 09:52 192.168.0.100
-rw-r--r-- 1 root root      73 Dec 28 09:52 192.168.0.200
drwxr-xr-x 2 root root    1024 Dec 28 09:51 .

Vemos el resultado de cada server:

root@debian:~# cat /tmp/salida.txt/192.168.0.100
  9:52am  up 100 day(s), 16:24,  9 users,  load average: 0.06, 0.07, 0.06 

root@debian:~# cat /tmp/salida.txt/192.168.0.200
  9:52am  up 85 day(s), 17:12,  0 users,  load average: 0.11, 0.18, 0.19

En caso que no tengamos las keys ssh podremos ingresar el password:

root@debian:~# parallel-ssh -h hosts.txt -A -O PreferredAuthentications=password uptime
Warning: do not enter your password if anyone else has superuser
privileges or access to your account.
Password: acáVaLaClaveDeRoot
[1] 12:08:27 [SUCCESS] 192.168.0.100
[2] 12:08:27 [SUCCESS] 192.168.0.200

12 - Actualizando Firmware de Servidor Dell EMC PowerEdge R740

En este video muestro como actualizar el firmware del BIOS de un Servidor Dell EMC PowerEdge R740. Puede aplicarse este mismo instructivo para actualizar la iDrac y para actualizar la RAID PERC H730p.

• Actualizar la IDRAC: https://downloads.dell.com/FOLDER05181865M/1/iDRAC-with-Lifecycle-Controller_Firmware_K877V_WN64_3.21.23.22_A00.EXE • Actualizar el BIOS: https://downloads.dell.com/FOLDER05064742M/2/BIOS_422T0_WN64_1.4.9.EXE • Actualizar la PERC H730p: https://downloads.dell.com/FOLDER04905010M/1/SAS-RAID_Firmware_F675Y_WN64_25.5.5.0005_A13.EXE

11 - Instalando VMware ESXi 6.7 en Dell EMC PowerEdge R740

Este video muestra la instalación de un VMware ESXi 6.7 en un Servidor Dell EMC PowerEdge R740, el paso a paso de como montar la ISO del S.O. hasta finalizar la instalación ingresando por la ip que me da el DHCP server vía Web.

10 - Conectarme por Bluetooth al Servidor desde el OpenManage Mobile

Nos conectamos a un Servidor EMC Dell PowerEdge R470 por Blootooth desde un celular Samsung con la App Open Manage Mobile.

09 - Bootear ISO desde iDrac de Dell EMC PowerEdge R740

Lo que más me gusta del iDrac es que no tenemos que estar físicamente frente al servidor para instalar el sistema operativo. En la entrada previa expliqué como configurar el iDrac y pueden verlo en el siguiente enlace: http://redes-seguridad.blogspot.com/2018/09/08-configuracion-de-idrac.html

Antes de empezar la instalación voy a deshabilitar el booteo PXE, nos logueamos por web al iDRAC con la ip que nos dio anteriormente el DHCP ó la que hemos configurado como ip fija.

Hacemos click en la consola virtual como indica la siguiente imagen:

Nos pide descargar el viewer.jnlp, el cuál le damos "Guardar" y abriremos desde las descargas del navegador.

Nos mostrará otra ventana con una advertencia de seguridad, le damos continuar:

Tildamos la opción para que no la vuelva a mostrar y Ejecutar:

Ejecutar nuevamente:

Vemos la consola del server sin estar en frente de él físicamente:

Vemos que al bootear en la ventana previa intenta hacerlo primero por PXE, para deshabilitarlo también podemos hacerlo directamente de esta ventana. Click sobre "Siguiente Inicio" => "Configuración del BIOS":

Aceptar y luego reiniciar el equipo:

Alimentación => Restablecer el sistema

Damos que si y se reiniciará el servidor:

Luego del reinicio vemos que directamente ingresa a la configuración del BIOS sin teclear ninguna letra, click sobre "System BIOS"

Boot Settings:

UEFI Boot Settings:

Destildamos la opción PXE como indica la imagen siguiente:

Click arriba a la derecha en "Exit" y le damos "Yes" para que guarde los cambios:

Los cambios fueron guardados OK => Finish => Yes y se reiniciará el equipo:

Vemos que ahora NO nos aparece el booteo "Booting from PXE":

Ya deshabilitado el PXE vamos a bootear con la ISO del VMware desde la consola virtual, vamos a "Medios virtuales" => "Conectar medios virtuales"

Nuevamente => "Medios virtuales" => "Asignar CD/DVD":

Elegimos una unidad virtual, en mi caso D: => "Explorar":

Seleccionamos la ISO del VMware 6.7, tener en cuenta que esta está customizada para servidores Dell:

Asignamos el dispositivo:

Ahora configuramos el booteo desde la ISO virtual => "Siguiente inicio" => CD/DVD/ISO virtual:

Damos => "Aceptar":

Reiniciamos el equipo mediante la siguiente imagen. Al pedir confirmación le damos que SI.

Esperamos el reinicio y vemos que cuando comienza el booteo sin tocar absolutamente ninguna letra bootea desde el Virtual CD:

Ver que comienza el booteo del ESXi:

Damos (Enter Continue) y hasta acá llegaré con esta entrada, la instalación la veremos en el siguiente post.

Acá les dejo un video de cómo deshabilitar el PXE de los pasos previos, posteriormente haré otro video para el booteo y la instalación del ESX.

08 - EMC Dell PowerEdge R740 iDrac configuration

Vemos que por defecto el iDrac tiene configurado DHCP, si tenemos un servidor de DHCP en nuestra red directamente accedemos a la ip que muestra por pantalla, en cambio si queremos configurarle ip fija para ingresar al iDrac presionamos F10.

Por primera vez nos pedirá acceso con usuario: root y la clave está por defecto debajo de la etiqueta del service TAG donde figura el número 4 en la siguiente imagen:

Esta etiqueta podemos identificarla del lado derecho del server abajo, en la próxima figura es el punto número 6:

Debemos tener en cuenta que la clave para acceder por web está debajo de la etiqueta:

Ya tenemos el usuario: root, la clave que figura debajo de la etiqueta del Service TAG y la ip que la brinda el DHCP, así que ingresamos directamente por la url con: https://ip_del_idrac:

Ni bien nos logueamos nos pedirá restablecer la contraseña, si no nos lo pide podremos ir a la flecha hacia abajo donde dice iDRAC Settings como muestra la siguiente imagen:

Users:

Edit:

Y cambiamos acá la contraseña. También podemos configurar Keys SSH ó Smart Card, SNMP, etc.

07 - Conectamos monitor, teclado, mouse, cables de red y encendemos el Server

Ponemos el server en un rack temporal, conectamos los 2 powers, un cable de red en la placa del iDrac y otra placa en la LAN0 del server. Conectamos monitor, teclado, mouse y prendemos el server.

06 - Configuración de memoria y cerrado del server EMC Dell PowerEdge R740

En videos anteriores vimos el desempacado del Servidor Dell, como agregarle la placa de red, la placa de fibra y agregamos memoria RAM. En videos posteriores veremos como conectarnos al servidor por Bluetooth, como configurar iDrac y como instalar y configurar un VMware ESXi 6.7, agregarlo en una farm de servidores ya existentes reemplazando por otro.

05 - Colocando Memoria RAM en Servidor EMC Dell PowerEdge R740

En videos anteriores vimos el desempacado del Servidor Dell, como agregarle la placa de red, la placa de fibra y ahora veremos como agregar memoria RAM. En videos posteriores veremos como conectarnos al servidor por Bluetooth, como configurar iDrac y como instalar y configurar un VMware ESXi 6.7, agregarlo en una farm de servidores ya existentes reemplazando por otro.

04 - Conectar placa de Fiber Channel en Servidor EMC Dell PowerEdge R740

Conectando placa de Fiber Channel en Servidor EMC Dell PowerEdge R740, luego veremos como agregarle memoria, configurar el server desde bluetooth, habilitar acceso al iDrac, instalar ESXi, configurarlo para reemplazo de otro servidor en un cluster de una granja de VMwares con VMware ESXi 6.7.

03 - Colocar placa de red ethernet en Servidor EMC Dell PowerEdge R740

Colocando placa Ethernet en Servidor EMC Dell PowerEdge R740, en el próximo video veremos como conectar la placa de Fiber Channel, como agregarle memoria, configurar el server desde bluetooth, habilitar acceso al iDrac, instalar ESXi, configurarlo para reemplazo de otro servidor en un cluster de una granja de VMwares con VMware ESXi 6.7.

02 - Hardware de un Servidor EMC Dell PowerEdge R740

Luego de abrir la caja del server muestro como abrir el chasis, como sacar y volver a poner un fan y donde colocar la memoria RAM. En los próximos videos mostraré como agregarle memoria, ponerle una placa de red, una placa de fibra, configurar el server desde bluetooth, habilitar acceso al iDrac, instalar ESXi, configurarlo para reemplazo de otro servidor en un cluster de una granja de VMwares con VMware ESXi 6.7.

01 - Unboxing Dell EMC PowerEdge R740 Server

Desempaquetando un servidor Dell R740. En próximos videos mostraré como agregar memoria, placa de red, placa de fibra. Luego lo pondré en un rack temporal para configurarle Idrac, instalarle VMware ESXi 6.7 y reemplazarlo en una farm de clusters de ESXs.

Monitorear si una maquina virtual tiene snapshots en VMware ESXi

Este script corre con el usuario nagios, el ESXServer lo cambian por el hostname de su ESX ó por la ip del mismo, Storage-01 es el nombre del datastore del vmware en mis servidores.

Va a llegar una alarma de nagios en caso que exista alguna virtual con al menos un snapshot en cualquier máquina virtual.

Script: /usr/local/apps/nagios/libexec/check_VM_snapshots

 # Autor Hernan Tirado

 # blog: redes-seguridad.blogspot.com

 # Creado el: 15-03-2018

 #

 # Uso: /usr/local/apps/nagios/libexec/check_VM_snapshots

CANT_SNAP=`ssh root@ESXserver-x ls -latR /vmfs/volumes/Storage-01/|grep -i snap |awk '{ print $6" "$7" "$9}'|sort|uniq|wc -l`

if [ $CANT_SNAP = 0 ];then

 echo "OK - Virtuales SIN Snapshots en Storage-01."

 exit 0

else

 echo "CRITICAL - Virtuales con Snapshots en Storage-01: $CANT_SNAP"

 ssh root@ESXserver -x ls -latR /vmfs/volumes/Storage-01/|grep -i snap |awk '{ print $6" "$7" "$9}'|sort|uniq

 exit 2

fi

fi

Tener en cuenta que tiene que tener habilitado el SSH en el server ESXi y también copiar la key de nagios en el autorized_key del server ESX.