LUN considérées comme des snapshots

[demz]

Bon je reviens à la charge avec quasiment la même problématique que la dernière foois lors de mon incident de prod...
Pour rappel cet incident était intervenu lors de l'ajout de deux nouveaux ESX dans un cluster de 6 ESX existants, hors les personnes en charge de l'installation des ESX avaient un mode opératoire éronné qui indiquait qu'en post install il fallait placer un LVM.EnableResignature à 1...

Bref, ces deux ESX on été entièrement réinstallés, aucun paramétrage avancé n'a été fait... les LUN présentées aux 6 premiers ESX leur ont été aussi présentées... mais il les voient toujours comme des snapshots au moment du rescan !
Donc elles sont bien visibles dans Config > storage adapters mais rien dans Storage...

Extrait du /var/log/vmkernel :

Jan 6 15:43:49 vi101127 vmkernel: 2:00:20:40.051 cpu2:1049)LVM: 5586: queried disk ID: <type 3, len 15, lun 12, devType 0, scsi 3, h(id) 7054030465341928975>
Jan 6 15:43:49 vi101127 vmkernel: 2:00:20:40.051 cpu2:1049)LVM: 5593: on-disk disk ID: <type 2, len 22, lun 12, devType 0, scsi 5, h(id) 14001031814552632161>
Jan 6 15:43:49 vi101127 vmkernel: 2:00:20:40.051 cpu2:1049)ALERT: LVM: 4482: vml.03000c000002901034933238423053594d4d4554:1 may be snapshot: disabling access. See resignaturing section in SAN config guide.
Jan 6 15:43:49 vi101127 vmkernel: 2:00:20:40.068 cpu2:1049)LVM: 5579: Device vml.03006b000002901034933231443053594d4d4554:1 detected to be a snapshot:

Pour info, les équipes SAN ont présenté les LUN exactement de la même manière.
Je ne peux pas choisir de placer un LVM.DisallowSnapshotLun à 0 et de le laisser comme ça comme fix définitif.

La seule chose que je vois moi c'est un BIOS plus récent pour les deux nouveaux ESX...

Une ou plusieurs idées ? Parceque la ça commence à devenir urgent en plus...

[demz]

BIOS downgradé, toujours pareil... je regarde du coté des firmware des carte HBA.

Je comprends vraiment pas...

[yapuka]

salut,

c'est pas simple simple à appréhender ces histoires de disallowsnapshot. me concernant j'ai pas mal ramé transpiré (froid) avec mes acolytes du moment, pour finir par recréer des LUN correctement signés dans le cluster et des Vmotion en pagaille. mais laissé le disallowsnapshotlun à 1 n'est pas du tout une fin en soi.

pour l'heure, si cela peux t'aider, voici un excellent post sur ces questions dans un langage sympa qui "tranche" avec la rigueur des spec guides...moi en tout cas j'aime bien parce que c'est vraiment dans ces post là que tu comprends bien les subtilités des trucs et des bidules

http://virtualgeek.typepad.com/virtual_geek/2008/08/a-few-technic-1.html

tiens nous au jus.

a+

[demz]

Le Disallow à 0 tu veux dire.

Je peux pas me permettre de recréer les LUN, tu n'imagines pas le nombre de VM et d'espace SAN consommé...

Je connais déjà l'excellent article de Chad Sakac et celui de Duncan sur Yellow Bricks, mais ça ne m'aide pas du tout... je pense bien avoir assimilé le concept de ces 2 options, ce que je comprends pas c'est pourquoi mes LUNs apparaissent comme des snap sur des nouveaux ESX d'un cluster.

Je crois bien qu'il ne me reste plus qu'a mettre le Disallow à 0, vu que nous n'utilisons pas les snap au niveau SAN

[yapuka]

donc dans ce cas, soit bien sûr que tu n'as qu'une seule "version" de ton vmfs présenté à ton host (c'est pas moi qui le dis ça).

c'est un SAN HP ou EMC ? tu as plusieurs VC ou pas ?

sinon tu peux demander à ton équipe SAN sur quel contrôleur (spa ou spb si c'est de l'emc) vont les hba de tes 2 nouveaux hosts ? et si c'est le même "chemin" utilisé par les autres noeuds de ton cluster.

a+

[demz]

C'est de l'EMC, mais tout est présenté pareil.

[yapuka]

alors si tu es parfaitement sûr de ton san, de la présentation des LUNs, alors je ne vois pas grand chose d'autre à faire que de suivre ça =>
http://kb.vmware.com/selfservice/microsites/search.do?cmd=displayKC&docType=kc&externalId=9453805&sliceId=1&docTypeID=DT_KB_1_1&dialogID=65743805&stateId=0%200%2065741656

j'imagine que tu as déjà vu cela.

sûrement un long we en perspective...

bonne chance

[demz]

Déjà passé une soirée à faire ça quand le paramètre de resignature avait été placé sur ces deux ESX avant Noel...

cf viewtopic.php?f=2&t=3500

[Olivier]

Salut Demz, salut Yapuka ..

Si les ESXs continuent à voir les volumes nouveaux pour eux en tant que snapshot, c'est que l'info est encore présente dans les Luns ou chez les copains.

Que dit un vmkfstools -P -h /vmfs/volumes/XXXXX ?
Est-ce que le GUID des LUNs est le même dans /vmfs/volumes dans tous les ESX ?

EX :
drwxr-xr-t 1 root root 1120 Dec 4 21:51 4acce2f2-660fbd2a-a942-003048c5dbb4
lrwxr-xr-x 1 root root 35 Jan 8 23:37 STRIP-1M-ASM -> 4acce2f2-660fbd2a-a942-003048c5dbb4

Un truc me reviens que Julien avait soulevé : est-ce que les ESX sont résinstallés en déconnectant les HBAs du SAN ou non ????

Magouille : as-tu essayé de renommer ou copier le lien symbolique avec le bon nom /vmfs/volumes ?

EX :
lrwxr-xr-x 1 root root 35 Jan 8 23:37 STRIP-1M-ASM -> 4acce2f2-660fbd2a-a942-003048c5dbb4
lrwxr-xr-x 1 root root 35 Jan 8 23:37 LENOMQUEJEVEUX-> 4acce2f2-660fbd2a-a942-003048c5dbb4


... désolé pour les exemples, je n'ai plus que du vSphere 4.0X

[demz]

Le truc c'est que je ne vois pas les VMFS donc je ne peux pas faire le vmkfstools -P -h dessus...

Oui les fibres étaient déconnectées lors de l'install.

Un truc encore plus bizarre, 7 nouvelles LUNs ont été présentées aux ESX de ce cluster, seulement 4 d'entre elles sont découvertes via un rescan...

[demz]

Nan mais la je comprends vraiment pas, c'est hallucinant

[Olivier]

Donc ça pue le problème de zoning tout ça ... Va jeter un oeil dans la conf des fabrics

[demz]

Bah nan si problème de zoning, je verrai pas les LUN dans storage adapter !

Je vois les LUNs mais impossible de monter les VMFS car elles sont vues comme des snap !

[Olivier]

Zoning bien fait dans tous les sens ????

Que dis esxcfg-mpath -l ? Est-ce que les Luns IDs sont réellement les mêmes ?
On obtient un snapshot lorsqu'ils ne sont pas strictement identiques.

[demz]

Sur un ESX qui a déjà les LUNs :

Disk vmhba1:1:133 /dev/sddu (223080MB) has 2 paths and policy of Fixed
FC 24:0.0 10000000c97cb2c0<->5006048452a8317d vmhba1:1:133 On active preferred
FC 25:0.0 10000000c97cb28a<->5006048452a83172 vmhba2:1:133 On

Sur celui qui voit la LUN en snap :

Disk vmhba0:0:133 /dev/sddz (223080MB) has 2 paths and policy of Fixed
FC 24:0.0 10000000c98cb547<->5006048452a83169 vmhba0:0:133 On active preferred
FC 25:0.0 10000000c98cb3ee<->5006048452a83166 vmhba1:0:133 On