Bij een klant had ik het probleem dat het backuppen traag ging en het maken en verwijderen van snapshots het hangen van complete vm’s als resultaat had.
Er was een vermoeden dat het lag aan de replicaties vanuit het backup pakket Altaro Backup. Alle taken van Altaro werden on hold gezet en we hebben Veeam Backup & Replication werd geinstalleerd.
Veeam deed om de paar uur een poging om achtergebleven snapshots te verwijderen. Dit was zichtbaar binnen VCenter maar ook binnen Veeam. Deed bleef zo ook al had ik tijdelijk ook binnen Veeam de backup en replicatie taken gestopt.
Via de History > System, van Veeam Backup & Recovery was een achtergrond taak te zien. Deze taak probeerde snapshot files op te ruimen die bij eerdere mislukte acties van Altaro Backup zijn achtergebleven.
Om zelf handmatig te consolideren begon ik met het uitschakelen van deze zogenaamde Veeam Snapshot Hunter. Dat kan met een registter aanpassing. Maak in HKEY_LOCAL_MACHINE\SOFTWARE\Veeam\Veeam Backup and Replication een DWORD entry aan genaamd DisableAutoSnapshotConsolidation aan. Met de waarde 1 schakel je Snapshot Hunter uit, met waarde 0 schakel je deze weer in.
Windows Registry Editor Version 5.00
[HKEY_LOCAL_MACHINE\SOFTWARE\Veeam\Veeam Backup and Replication]
"DisableAutoSnapshotConsolidation"=dword:00000001
Herstart de Veeam Backup & Replication server na het wijzigen van het register om de aanpassing door te voeren.
Hierna gaan we weer vanuit VMware proberen om de consolidatie te doen op een moment dat er weinig i/o is.
Helaas kreeg ik nog steeds de melding “An error occurred while consolidating disks: Failed to lock the file”.
Daarop logde ik in op de VSphere via ssh en herstartte ik de management agents. Dat is namelijk het eerste advies van VMWare
/etc/init.d/hostd restart /etc/init.d/vpxa restart
Aangezien het probleem met de consolidatie bleef aanhouden ging het onderzoek verder. Kijkende op de datastore zag ik ctk.vdisk files. Deze lockfiles heb ik in een andere map gezet waarna van de 1ste server de consoldatie lukte. Dit is een alternatieve methode die in veel gevallen ook tot een oplossing leidt.
De andere vm bleef maar de eerder genoemde failed to lock the file melding geven. Hierop ging ik kijken of de virtuele Altaro Backup Server niet toevallig snapshot disks binnen zijn configuratie had. Jawel hoor 12 extra disks die toebehoorden aan de productie server waarvan ik geen consolidatie kon uitvoeren.
Nadat ik de Altaro Backup Server uitgezet had, heb ik de vdisks verwijderd uit dienst configuratie (zet geen vinkje bij “delete from disk”!!!). Hierna lukte ook de consolidatie van de 2de vm.