"Defragmentieren" eines WAFL-Dateisystems

Gerade wenn weitere Disks zu einem Aggregat bzw. zu TradVol hinzugekommen sind, oder auch wenn mit sehr vollen Aggregaten und TradVols gearbeitet wird, kann es passieren, dass die Verteilung der Datenblöcke auf den Disks nicht gerade optimal ist.

Dann besteht die Möglichkeit manuell das WAFL-Dateisystem zu rearrangieren und somit wieder in einen optimalen Zustand zu versetzen.

Zuerst sollte man jedoch mit priv set diag und wafl scan measure_layout VOLUME überprüfen ob
dies notwendig ist. Das Überprüfen des Layouts kann je nach Volumegrösse sehr lange dauern. Ihr findet dann im Log-file (syslog oder rdfile /etc/messages) einen Wert. Ist dieser schlecht kann mit wafl scan reallocate VOLUME eine "Defragmentierung" per Hand angestossen werden.

Da der Snapshot bei Netapp ja die "heilige Kuh" ist, werden Blöcke aus Snapshots nicht mit optimiert. Dies hat zur Folge, dass zum einen die (Lese)Performance von Snapshots nicht optimiert wird, zum anderen aber auch, dass Snapshots, welche vor dem Reallocate erstellt wurden mehr Platz benötigen.

Zum gelegentlichen Kontrollieren bietet sich das Kommando wafl scan status.

Vorsicht: Die oben angegeben Kommandos haben während sie laufen einen negativen Einfluss auf die Gesamtperformance des Systems!

Aggregate und Volumes seit Ontap 7.0

Verwendung von Aggregaten und Flex Vols sein Ontap 7.0

Was ist ein Aggregat?
Ein Aggregat, kann sich ueber mehere Disks, Shelfs erstrecken und kann ebenso mehere Raid Gruppen beinhalten.

In diesem Aggregat werden dann die flexiblen Volumes erstellt, die so flexibel sind weil sie sich von der Struktur des Wachstum unter hinzufuegen einer oder meherer Disks geloest haben.

Anzeige aller existierenden Aggregate

aggr status

Filer> aggr status
Aggr State Status Options
aggr0 online raid0, aggr root

Was sind flexible Volumes?
Flexible Volumes werden auf den Aggregaten erstellt und sind dadurch dass sie nur logisch existieren sehr flexibel was die Skalierung des Volumes angeht.

Flexible Volumes, koennen jederzeit vergroessert und verkleinert werden (innerhalb des Bereiches in dem keine Daten liegen). Dadurch benoetigen wir auch nicht mehr pro Volume eine Parity und DP Disk sondern nur noch im Aggregat pro jeweilige Raidgruppe.

Anzeige aller existierenden Volumes

vol status

Filer> vol status
Volume State Status Options
vol0 online raid0, flex root, no_atime_update=on,
create_ucode=on,
convert_ucode=on,
maxdirsize=2621,
guarantee=volume(disabled)

erstellen von flexiblen Volumes

vol create [k|m|g|t]

Als Beispiel:
vol create TEST aggr0 100G

vergroessern von flexiblen Volumes

vol size [+|-] [k|m|g|t]

als Beispiel:
vol size TEST -50G

Wir koennen flexible Volumes also in Groessen von kilo-, mega-, giga- oder terabyte erweitern oder verringern.
Es gibt die Moeglichkeit flexible Volumes automatisch auf eine festgelegte Groesse zu erweitern, wenn das Volume droht vollzulaufen.

Auslastungsanzeigen von Volumes und Aggregaten

df -Ah

zeigt uns die Auslastungs der jeweiligen Aggregate an

Filer> df -Ah
Aggregate total used avail capacity
aggr0 256MB 145MB 110MB 57%
aggr0/.snapshot 13MB 0MB 13MB 0%

Die Option -A steht fuer Aggregat, das h stellt die Auslastungsanzeige in einer besser lesbaren Version dar. Diese Option taucht auch bei anderen Befehlen wieder auf, die Auslastungsanzeigen darstellen.

df -Ah zeigt die Auslastung des Aggregates an, eine weitere Moeglichkeit ist der Befehl

aggr show_space -h

Dieser Befehl zeigt nicht nur die Auslastung des Aggregates an, sondern auch welche Volumes sich auf dem Aggregate befinden.

Beispiel:
Filer> aggr show_space -h
Aggregate 'aggr0'

Total space WAFL reserve Snap reserve Usable space
300MB 30MB 13MB 256MB

Space allocated to volumes in the aggregate

Volume Allocated Used Guarantee
vol0 145MB 145MB volume(disabled)

Aggregate Allocated Used Avail
Total space 145MB 145MB 109MB
Snap reserve 13MB 0KB 13MB
WAFL reserve 30MB 1432KB 28MB

Beispiel:
Filer> df -Vh
Filesystem total used avail capacity Mounted on
/vol/vol0/ 227MB 143MB 84MB 63% /vol/vol0/
/vol/vol0/.snapshot 25MB 0MB 25MB 0% /vol/vol0/.snapshot

Zeigt die Auslastung des Volumes an.

Benutzer und Gruppenverwaltung

Useradmin
Verwendung und Einrichtung von Gruppen und Rollen

Gruende fuer die Verwendung von verschiedenen Gruppen und Rollen

Abschaltung eines gemeinsamen Root Accounts
Verwendung von einem Backup Account der nur bestimmte Befehle benoetigt.
unterschiedlicher Wissenstand innerhalb der Administratoren Gruppe
Kontrolle ueber die Ausfuehrung von Risikoreichen Befehlen (Audit)

Eine kleine Einfuehrung in dieses Thema bietet:

http://now.netapp.com/NOW/knowledge/docs/ontap/rel7001_gf/html/ontap/sys...

Nach der Basis Installation des NeApp Filer sind im System bereits, User, Gruppen und Rollen angelegt.

An diesem Beispiel wird eine Rolle mit den Berechtigungen login-*,cli-ndmpd,cli-sysconfig,cli-df,cli-? erstellt und diese Rolle wird den Backup Operators (Gruppe) zugeordnet.

Am Schluss wird dann der neu erstellte Backup Account dieser Gruppe zugeordnet.

useradmin userlist

fas3020> useradmin user list
Name: root
Info: Default system administrator.
Rid: 0
Groups:

Name: administrator
Info: Built-in account for administering the filer
Rid: 500
Groups: Administrators

useradmin group list

fas3020> useradmin group list
Name: Administrators
Info: Members can fully administer the filer
Rid: 544
Roles: admin

Name: Backup Operators
Info: Members can bypass file security to backup files
Rid: 551
Roles: none

Name: Guests
Info: Users granted Guest Access
Rid: 546
Roles: none

Name: Power Users
Info: Members that can share directories
Rid: 547
Roles: power

Name: Replicators
Info: not supported
Rid: 552
Roles: none

Name: Users
Info: Ordinary Users
Rid: 545
Roles: audit

Hier sehen wir alle Default existierenden Gruppen.
Es sind bereits Rollen verschiedenen Gruppen zugeordnet.

useradmin role list

fas3020> useradmin role list
Name: admin
Info: Default role for administrator privileges.
Allowed Capabilities: login-*,cli-*,api-*,security-*

Name: audit
Info:
Allowed Capabilities: api-snmp-get,api-snmp-get-next

Name: none
Info: Default role for no privileges.
Allowed Capabilities:

Name: power
Info: Default role for power user privileges.
Allowed Capabilities: cli-cifs*,cli-exportfs*,cli-nfs*,cli-useradmin*,api-cifs-*,api-nfs-*,login-telnet,login-http-admin,login-rsh,login-ssh

Name: root
Info: Default role for root privileges.
Allowed Capabilities: *

Erstellen des Backup Accounts

useradmin user -add

fas3020> useradmin user add Backup -g "Backup Operators" -n "Backup-Account"
New password:
Retype new password:
User added.

Der neue Backup Account wird gleich der Gruppe Backup Operators zugeordnet.

useradmin user list

fas3020> useradmin user list Backup
Name: Backup
Info:
Rid: 131072
Groups: Backup Operators

useradmin role add

fas3020> useradmin role add backup-restore -a login-*,cli-ndmpd,cli-sysconfig,cli-df,cli-?
Role added.

useradmin role list backup-restore

fas3020> useradmin role list backup-restore
Name: backup-restore
Info:
Allowed Capabilities: login-*,cli-ndmpd,cli-sysconfig,cli-df,cli-?

useradmin group modify "Backup Operators" -r backup-restore

fas3020> useradmin group modify "Backup Operators" -r backup-restore
Group modified.

Nun wurde die Rolle der Gruppe Backup Operators zugeordnet.

Kontrolle:

Einloggen mit dem Backup Account.

ssh backup@fas3020
backup@fas3020's password:

fas3020> ?
? filestats ndmpcopy ndmpd
df
fas3020>

Der User Backup kann nur noch die Ihm zugeordneten Befehle ausfuehren.

Zusammenfassung

useradmin user list

useradmin user modify „User“ -g „Gruppe“ (Gruppe zum User hinzufuegen)

useradmin role add (Rollenname)

useradmin role modify “Rolle” -a (was der Account durchfuehren kann)

useradmin role modify “Rolle” -c (Kommentar hinzufuegen)

useradmin group modify „Gruppe“ -r (Rolle zur Gruppe hinzufuegen)

Einrichten von einem VERITAS NetBackup mit einem nicht root NDMP User

VERITAS NetBackup NDMP Setup mit einem Filer - Wie aendere ich die NDMP Authentification von der Nutzung eines root Users zu einem nicht root User?

Fuegt einen User Namens ndmpuser auf Eurem Filer hinzu (eine genaue Anleitung zum hinzufuegen von Usern, Gruppe sowie Rollen gibt es ebenfalls im Wissens Bereich)

Wir nutzen dazu folgende Befehle auf dem Filer:

useradmin user add -g Users

ndmpd password ndmpuser

Schreibt nun das Passwort ins folgende Kommando auf dem NBU Server:

set_ndmp_attr -insert -auth ndmpuser

In dem Fall wo es nicht funktioniert, loesche und erstelle den Eintrag neu, per:

set_ndmp_attr -delete -robot

Diesen Verfahrung funktioniert auch mit der Backup Loesung von Legato, nur sind dort die Systeminternen Befehle anders.

Erkennen von eingehenden Traffic

Die Aufgabe: Identifizierung welcher Traffic ueber welches Interface den NetApp Filer erreicht?

Es gibt verschiedene Methoden um diese Information herauszufinden:
1. Sende Traffic von einem besonderen Client und nutze den folgenden Befehl:

pktt start all -b 2m -d / -s 5m -i

Sendet dieser Client Traffic, wirst Du Messages mit Aussagen ueber diese Packets sehen. Du kannst auch pruefen ob Packete von diesem Client gesehen wurden.

pktt status -v

2. Du kannst auch einen Packet Trace aufnehmen bzw. erfassen um ihn danach zu analysieren. Hier werden die gleiche Werkzeuge verwendet wie fuer die eben beschriebene Aktion. Die Daten werden im Root Volume des Filers abgelegt, nur Administratoren und Root User koennen auf diese Files zugreifen.

Zum starten eines Traces ueber alle Interface:

pktt start all -b 2m -d / -s 5m

Zum stoppen des Traces:

pktt stop all

Ein Packet Trance kann auch bei der Analyse bei NFS Zugriffsfehlern weiterhelfen, hier kann man zbs. herausfinden ob die Meldung Access Denied vom Filer oder schon vom Host kommt. Aber dies ist nur eine Anwendungsmoeglichkeit. Zur Analyse koennte man zum Beispiel ethereal verwenden

Konfiguration Access-Based Enumeration (ABE)

Ab der Ontap Version 7.2 ist das Feature Access-Based Enumeration verfuegbar, diese Feature erlaubt Ihnen Cifs Shares mit dem Flag -accessbasedenum zu versehen.

Damit erleichtern Sie Ihren Anwendern und sich selber die Auswahl von Verzeichnissen, da nur noch die Verzeichnisse zu sehen sind auf denen Sie Berechtigungen haben.

Die Aktivierung von Access-Based Enumeration ist sehr einfach.

Fuer neue Shares gilt der folgende Befehl:

cifs shares -add -accessbasedenum

Um ABE auf existierenden Shares zu enablen, verwende den folgenden Befehl auf Deiner OnTap Commando Zeile:

cifs shares -change -accessbasedenum

Planung der Raid Scrubbing Zeiten

Heute machen wir einen kleiner Abstecher zum Raid Scrubbing...

Dieses Scrubbing wird jeden Sonntag um 1 Uhr nachts durchgefuehrt... wie man auch anhand der Mails sehen kann die man jeden Montag morgen erhaelt (sofern diese Option aktiviert ist).

Nun kann es ja sein, dass genau zu dieser Zeit aber andere Prozesse auf der Maschine ablaufen die einen sehr hohen Disk I/O mit sich bringen. Es gibt hier aber eine Moeglichkeit dieses Scrubbing zu anderen Zeiten durchzufuehren.

Die Option die Ihr aendern muesst ist raid.scrub.schedule.

Ein Beispiel: 8h@mon@22,8h@tue@22,8h@wed@22,8h@thu@22,8h@fri@22,18h@sat@6,24h@sun@0

Diese Einstellungen am Scheduler erlauben dem Scrubbing ein Lauf fuer 8 Stunden, Montag-Freitag Startzeit um 22 Uhr.

Es erlaubt ebenso ein Scrubbing am Sonnabend und Sonntag. Ihr koennt diese Option auf Eure Beduerfnisse anpassen und somit den Filer besser in Euer System/Umgebung integrieren.

Praktische Filer Befehle

Hier ist eine Liste von praktischen Befehlen die ich verwende um Filer zu administrieren. Einige Befehle kann man nur nach dem setzen von „priv set diag“, sei Vorsichtig wenn Du diese Befehle verwendest. vielleicht testest Du diese zuerst ein einem Filer Simulator wo nichts beschaedigt werden kann. Das Ziel ist, wenn Du ein neuer Admin bist dass Du diese Liste von Befehlen als Kurz Referenz verwenden kannst. In der aktuellen Version verwende ich nur die typischen und am meist verwendeten Optionen.
Praktische Befehle

sysstat -us 1
zeigt eine Aufstellung der Filer Auslastung an die jede Sekude aktualisiert wird, nach dem druecken von (crtl - c zum beenden) erscheint eine Zusammenfassung. Mit der Option „-x“ kann man sich noch weitere Informationen anzeigen lassen.

statit -b/-e
beginnt/beendet eine Perfomance Arbeitsauslastungs Sammlung, -b start / -e ende.

nfsstat -d [-z]
zeigt nfs statistiken seit dem ersten boot (-z setzt den Zaehler auf 0 zurueck)

nfs_hist [-z]
zeigt ein Balkendiagram ueber das NFS Ansprechverhalten/Wartezeiten seit dem ersten Boot an (-z setzt den Zaehler auf 0 zurueck)

df -h
zeigt die Volume Auslastung in einem Menschen lesbaren Format an

df -i
zeigt die inode Auslastung pro Volume an

df -Ah
zeigt die Aggregats Auslastung in einem Menschen lesbaren Format an

aggr status -i
zeigt an welche Volumes sich in pro Aggregat befinden

date -u
zeigt die Zeit in Unviversal Time an (UTC)

storage show disk -p
zeigt alle Platten mit ihrem primaeren und sekundaeren Pfad an

fcadmin device_map
zeigt an welche Disk in welchem Shelf steckt.

storage show hub [2b.shelf3]
zeigt das ESH Modul Statistik vom Shelf an (wenn Du ESH Module hast)

nfsstat -l [-z]
zeigt die Auslastung pro verbundenen Host an

lun stats -o
zeigt die Lun Auslastungs Statistik an

lun show -m
zeigt die Lun Mapping Informationen

qtree stats
zeigt die Auslastung pro Qtree an

sysconfig [-a]
zeigt die Hardware Konfiguration an (-a zeigt mehr Informationen an)

environment
zeigt den System Umgebungs Status der Shelfs und Kopfes an.

revert_to
zurueckkehr zu einer aelteren Ontap Version.

maxfiles
zeigt die maximale Menge von Files an.

led_on 4a.17
laesst die Lampe an der besagten Disk 4a.17 aufleuchten, fuer eine einfach Diagnose wo welche Disk sitzt.

stats start -I volumestats volume / stats stop -I volumestats
viele Volume Statistike (es noch mehr zu diesem Thema erscheinen)

disk_fw_update
update disk firmware (Vorsicht, koennte zu einem Ausfall fuehren!)

iscsi show initiator
zeigt die angeschlossenen/verbundenen ISCSI Initiatoren an

rm /vol/vol0/some_file
entfernt einzelne Files, funktioniert nicht mit Ordnern

priv set [-q] diag
die Diagnostic Kommando Auswahl (-q bringt keine Meldung mit sich, dass dieses Menue nur fuer NetApp ist)

pktt -d /vol/vol0/trace/trc e0 / pktt stop e0
startet einen Packet Trace

nv
ueberprueft den Status der NV Ram Karte

registry walk
findet alle Sorten von Kommandos und Optionen die beim Filer einstellbar sind, sowie die nicht bekannten Optionen (Gefaehrlich, hier waere es besser zuerst dem dem Simulator zu experementieren?)

license add xxxxxxxxxxxx
hinzufuegen einer Lizenz

version [-v]
dient zur Ueberpruefing der eingesetzten OnTap Version.

ndmpcopy /vol/vol0/data /vol/vol1/data
verwende ndmpcopy zum kopieren von daten von einem Volume zym anderen

rdfile /etc/log/auditlog
zeigt an welche Kommandos auf dem Filer durchgefuehrt wurden

Root Zugriff auf CIFS!

Eine schnelle und bequeme Moeglichkeit sich Zugriff auf Ordner mit CIFS acl's zu verschaffen, ist die Arbeit mit dem root Account auf einer Unix/Linux Maschine.

Bei dieser Aktion sollte man aber streng auf die Sicherheitsvorgaben sowie Vorgaben seitens des Betriebsrates etc. acht geben.

Es ist oft so, dass Du von einer Unix Maschine aus einen Share gemountet hast von dem normaler Weise von einer Windows Maschine aus zugegriffen wird. Der Anwender von der Windows Maschine hat sich nun aber durch dass veraendern von Rechten von diesen Daten ausgesperrt.

Als Admin hast Du nun vor diese Daten in irgendeiner Art zu kopieren, verschieben etc. aber es ist Dir aktuell nicht moeglich auf diese Daten zuzugreifen da es jedesmal zur Meldung „Access denied“ kommt.
Du denkst Dir, was soll das? Ich bin root, es ist richtig gemountet also sollte ich doch zugreifen koennen! Nein und es ist normal so.
Netapp hat hier versucht mehr Sicherheit zu schaffen, in dem der root User nicht alles darf zbs. auf keine CIFS acl's zuzugreifen wenn dies nicht vielleicht ueber ein Usermapping geschieht.

Es gibt aber einen Weg um diese Sicherheit abzuschalten:

options cifs.nfs_root_ignore_acl

Diese Option erlaubt es dem root die gesetzten CIFS acl's einfach zu ignorieren.
Es gibt nur zwei Einstellungsmoeglichkeiten, on/off.
Bitte sehr vorsichtig damit umgehen, verwende diese Option nur wenn Du weisst was Du tust.

Snapshots mit weniger als eine Stunde Abstand schedulen

Manchmal benötigt man auf einem Volume Snapshots welche zeitlich weniger als eine Stunde auseinander sind, z.B. wenn es um sehr flüchtige oder sicherheitskritische Daten geht.

Dieses Problem kann man zum einen dadurch lösen, dass scriptgesteuert Snapshots generiert werden oder alternativ dazu auch mit dem normalen Scheduler. Die Syntax hierfür ist:

# snap sched <volume> <weekly> <daily> <hourly>@<time_of_day> <minutly>@<minute_of_hour>

Beispiel:

# snap sched vol0 0 0 24 6@5,15,25,35,45,55

hält 24 "hourlys" vor, welche immer um zur vollen Stunde generiert werden und 6 minuetliche, welche zur
Minute 5, 15,25, 35, 45 und 55 einer Stunde generiert werden.

Wichtig: Diese Snapshot sind selbstverständliche nicht applikationskonsistent, so wie alle nicht durch SnapManager
erzeugte Snapshots.

Umzug des root Volumes

Der Umzug eines root Volumes wird notwendig, bei einer Migration von traditionellen Volumes auf flexible Volumes oder wenn zum Beispiel das root Volume in Zukunft auf einem anderen Aggregat liegen soll. Um die Daten von einem auf das andere root Volume zu uebertragen, verwende ich ndmpcopy.

Umzug des root Volumes (Anleitung erfolgt mit den Optionen fuer flexible Volumes)

Du erstellst auf Deinem Filer ein neues und vielleicht auch groesseres Volume, falls auf vol0 nicht nur das Betriebssystem vom Filer liegen soll, sondern vielleicht auch Tools zur Verwaltung des Filers. Die kleinste Groesse eines root Volumes ist 12GB, es werden aber fast immer 15GB genommen da 20% fuer die Snapshots als Platz entfallen.

Der erste Schritt ist die Erstellung eines neuen Volumes, der Befehl dafuer ist

vol create root DeinAggregat 15G

Jetzt wird ein Volume mit der Groesse 15GB erstellt, dieses Volume liegt dann auf dem von Dir ausgesuchten Aggregat. Bei vielen Installationen wird dies das Aggregat aggr0 sein.

Vorbereitung fuer das kopieren der Daten, ist das aktivieren vom NDMP Dienst per

ndmpd on

Der naechste Schritt ist die Daten von ‘/etc’ zum neuen Volume zu kopieren. I nehme hierfuer

ndmpcopy /vol/vol0/etc /vol/root/etc

Du kannst diff ueber einen NFS Client verwenden um beide Verzeichnisse auf Unterschiede abzugleichen. Dies ist natuerlich nur mit einer installierten NFS Lizenz auf dem NetApp Filer moeglich.

diff /mnt/vol0 /mnt/root

Im naechsten Schritt setzen wir in den Volume Optionen das „root“ Attribut damit das Root Volume als Root Volume gesetzt und verwendet wird. Das Kommando ist

vol options root root

Als Erklaerung ‘vol options root’ zeigt die Volume Optionen des Root Volumes an, and das naechste root gibt dem Volume den root Status. Um es besser darzustellen

vol options new_root_volume root

Aber ich habe mein Beispiel bereits verwendet und bleibe auch weiter dabei.

Nach dem alle Punkte erledigt sind, ist die harte Arbeit geschafft. Ihr koennt nach einem erfolgreichen Reboot das alte root Volume aufloesen und die somit freigewordenen Platten dem Aggregat hinzufuegen oder die Migration abschliessen.

Im Anschluss daran ist es auch moeglich das root Volume wieder in vol0 umzubenennen, dies kann man wie folgt machen

vol rename root vol0