Arbeit

Vor ein paar Tagen hab ich versucht, ne Domain neu zu delegieren, weil da einiges nicht ganz so gelaufen war wie es sollte und beim Versuch das gerade zu biegen gabs dann einige Probleme. Erstes Problem war: das war ne .biz-Domain, fuer die muss man die DNS Server vor-registrieren. Ich war da sehr ueberrascht als ich das gehoert hab, und mein chinesischer Kollege, der die Domain registriert hat und der fuer mich das Webfrontend des Registrars bedienen sollte hat davon auch noch nix gehoert.

Nach einer Woche wusste ich dann die Details und wir haben uns Freitags nochmal dran gemacht, die Domain umzuziehen. Aber: man muss die Gebuehr fuer die Registrierung der DNS Server (10 Yuan pro Server, etwa 1 Euro) erst bezahlen. Und jetzt ging das Drama erst richtig los: Online-Banking unserer Hausbank ging nicht, war an dem Freitag nachmittag gestoert. Irgendwann nach 3 oder 4 Stunden hat dann unser Einkauf den Support beim Registrar davon ueberzeugt dass wir die 20 Yuan wirklich bezahlen wollen und das die Summe eh zu gering sei um da jetzt drauf zu warten bis sie gutgeschrieben ist und wir die Domain wirklich umziehene wollen.

Gerade mal mein vierter Arbeitstag war heute und es geht wieder richtig los: heute stand der erste Schritt eines ServiceGuard-Upgrades an, und das ging etwas daneben: eine Applikation soll regelmässig mit externen Stellen Daten austauschen (etwas hinschicken und ein paar Minuten später die Antwort verwerten).
Naja, das mit Austauschen tat erst mal nicht mehr, nachdem wir einen der beiden Clusternodes leer gemacht haben. Das war wohl einer der ersten Versuche wie man Cronjobs in den Clusterpackages mitswitchen kann und nun ja, der letzte Test des Mechanismus war zum letzten Switch – vor ca. 1075 Tage, beim letzten Reboot. Schauen wir mal obs morgen dann besser klappt.
So ganz nebenbei hab ich dann noch ein paar kleinere Fehler gefunden, die werden wir dann morgen beim Config-Change auch gleich mit erledigen.
Drückt mir die Daumen dass morgen alles besser läuft. Da werd ich dann wirklich eine heisse halbe Stunde haben.

Wir haben hier den Fall, dass unsere lieben SAP-Admin-Kollegen der Meinung sind, wenn sie das problem nur hartnäckig genug ignorieren, dann verschwindet es von selbst. Vier Wochen hintereinander ist jeweils am Sonntag ein Entwicklungssystem durch Speichermangel in nen etwas ungünstigeren Zustand versetzt worden. Durch Crashdump-Analyse wissen wir auch, welche Prozesse aus dem SAP-System das sind und haben es den Kollegen mitgeteilt. Leider war die Kommunikation bis jetzt in der Hinsicht sehr einseitig. Aber heute nacht hatten wir das Problem schon wieder …

.. und sorgen nur fuer unnoetige Verwirrung: Ein Kollege sollte gestern ein Installationsmedium in ein DVD-Laufwerk einlegen, um den Server neu zu installieren. Im System war ein Laufwerk sichtbar, vor Ort war auch eines sichtbar. DVD rein, davon booten. Geht nicht. Also bin ich heute nochmal hin, anderes Medium eingelegt, bootet wieder nicht. Dann hab ich die Verkabelung geprueft. Hmm, der Stecker ist recht locker drauf, verschraubt, nochmals versucht, tut wieder nicht. Aber Moment, das DVD-Laufwerk in dem Enclosure hat die ID 4 laut Schalter, ich boote aber von einem Laufwerk mit SCSI-ID 2. Da ist was faul. Ausserdem sind jetzt zwei DVD-Laufwerke sichtbar.

Des Raetsels Loesung: der Server verfuegt auch ueber ein internes Laufwerk, das verborgen hinter der Frontblende war.

Unser interner Admin im Büro in München hat sich beständig gewehrt, dass wir einen Consolenconcntrator anschaffen – Bedarf hätten wir dafür schon gehabt: unsere Standleitung zum Kunden ist nicht ins normale Büronetz gekoppelt, die Infrastruktur für diese Leitung nur aus dem dort angeschlossenen Lan erreichbar. Kollegen vom interen Service aus Tübingen haben keine Möglichkeit, dort mal schnell was nachzusehen oder einzugreifen. Nachdem die Leitung wichtig ist und wir da schon mal Probleme hatten, hab ich dem Leiter des internen Services so ein Teil abgeschwatzt – er hatte noch ne vergessene Teststellung übrig. Letzte Woche hat er das Ding vorbeigebracht. Und auf einmal hat unser Admin in München auch tolle Ideen dafür … wird also wieder nichts mit fernwartbaren Routern für die Standleitung

HP hat mir vor nem Jahr oder so nen neuen Service vorgestellt. Das war damals etwas Gewürge, bis mein Account eingerichtet und freigeschaltet war. Jetzt habe ich mal angemerkt, das da noch ein Teil fehlt, und prompt schicken wir schon wieder mehrerer Mails durch die Gegend in denen steht „Probieren Sie es mal jetzt“ und „Nein, immer noch nicht“

Nachtrag:
Das Problem lag wohl daran, dass ich dem Ansprechpartner bei HP den falschen Account genannt habe (oder er den falschen wissen wollte). Nichtsdestostrotz gibts immer noch ein Problem: der Teil der fehlt ist ein zweiter Standort. Weil dieser Standort aber als zweiter Kunde aufgesetzt wurde und eine Freischaltung eines Accounts für zwei Kunden nicht vorgesehen ist, müssen wir hier noch ne Weile warten.

Für HPUX gibts ein tolles Admin-Programm, genannt SAM. Da gibts mehrere Unterpunkte, in denen man nahezu alles auf dem System einstellen kann. Auf einem unserer Systeme fehlt allerdings ein Punkt, das Useraccount Management. Also mach ich ein Ticket bei HP auf. Rückruf von HP:
Sie haben ein Ticket aufgemacht, dass in SAM die Funktion zum User Management fehlt. Können Sie das Problem genauer beschreiben?
Ja, ich hab hier drei Maschinen in einem Cluster, die haben alle den gleichen Patchstand und auf zwei Maschinen ist der Punkt “Accounts for users and groups” in SAM da, auf der dritten nicht.
Eine Minute schweigen.
Ach ja! Ich werde das weiter analysieren. Und rufe Sie dann wieder an.
Bin ja mal gespannt was dabei raus kommt.

Update
Gerade eben kam noch ein Anruf: Ist das richtig, dass Sie einfach in SAM den Punkt “Accounts for users and groups nicht sehen?
Ich habe bejaht.

Auf der Hardware, die ich beim Kunden administriere laufen auch einige SAP-Systeme, in denen schrecklich wichtige Dinge gemacht werden. Weil diese Dinge so schrecklich wichtig sind (und auch die amerikanische Börsenaufsicht das so haben will) wurde vor einige Zeit beschlossen, dass alle Arbeiten, Konfigurationsänderungen etc. nachvollziehbar sein müssen.

Ich habe ja eine Ewigkeit nichts mehr geschrieben. Naja, am mangelnden Stoff lag das nicht, eher am inneren Schweinehund und daran, dass ich einfach keinen Nerv dazu hatte, die Erlebnisse des Tages noch in Text zu gießen. Mal schauen ob es in der nächsten Zeit wieder etwas besser wird. Und gleich mal ein neuer Anfang:

Am Freitag abend um 22:08 kam eine Mail: Wir machen am Freitag ab 22:00 Uhr HA-Switchtests.
Dazu kann man eigentlich nix mehr sagen.

Am Freitag abend um 22:08 kam eine Mail: Wir machen am Freitag ab 22:00 Uhr HA-Switchtests.
Dazu kann man eigentlich nix mehr sagen.

Seit ich als Systemadministrator tätig bin, glaube ich schon fast an Voodoo. Manche Phänomene lassen sich nicht anders erklären. Ein kleines Beispiel gefällig?
Ich arbeite im Moment daran, eine Software aus dem Hause HP methodisch zu installieren, unter HP-UX. Die Software soll auf allen unseren Rechnern eingesetzt werden, und sie benötigt neben vom Standort (wir haben vier in zwei Städten) abhängiger Konfig auch noch rechnerspezifische Einstellungen. Gut, machen wir das erst mal grob, HPs Softwareverwaltung kann ja mit Vorkonfiguration in den Paketen umgehen. Anschliessend ersetzen wir noch ein paar Platzhalter in den Konfigurationsdateien und machen andere notwendige Änderungen an der Datei und schieben sie der Software so unter. Soweit der Plan.
In der Praxis war es etwas schwerer. Auf die Startschwierigkeiten (mittlerweile ist ne neuere Version vorinstalliert als ich sie bislang eingesetzt habe, und da tut man sich dann mitm Updaten etwas schwer) will ich mal nicht reden, das seltsame Phänomen liegt ganz woanders: Bereits beim ersten Test hab ich festgestellt, dass die Software (ein Daemon auf dem Rechner) beim Stoppen die Config nochmal schreibt. Das heisst also für mich: Software installieren, die vorgefertigte Konfig ausrollen (muss explizit gemacht werden, weil neue Config gibts nur auf explizite Anweisung bei bereits installierter und konfigurierter Software), dann Dienst stoppen, im Configfile rumschmieren, Dienst neu starten. Sollte eigentlich tun.
Tat es aber nicht. Kontrollausgabe nach dem Verändern der Konfiguration. An der Stelle ist sie korrekt. Nach Ende des Scipts mit Neustart des Dienstes ists wieder die Konfiguration ohne spezifische Daten für Standort und Rechner, wo auch immer dieses Geisterbild herkommt. Abhilfe: vor dem Installieren des Pakets den Dienst schon mal stoppen. Dann passt alles, und man kann den Dienst mit der richtigen Konfig starten. Das haben zumindest die letzten paar Testinstallationen gezeigt. Ganz sicher bin ich erst nach dem Ausrollen auf den 80 HP-Systemen.
Fragt mich bitte nicht, wie ich drauf gekommen bin.

Montag ist Backuptag. Naja, so in etwa, denn: Trotz aller modernen Technik haben wir eine Maschine , die lokal über ein angeschlossenes Tapelaufwerk gesichert wird und nicht über die verhandenen Backupserver. Hochgeheime Daten.
Jetzt gibts dafür folgendes Vorgehen: wir werfen das aktuelle Band aus, schicken eine Mail an die dort in der Nähe sitzenden Mitarbeiter, dass sie ein neues Band einlegen sollen, und am Dienstag wird das Band wieder gegen das Incremental-Band ausgetauscht. Soweit so gut. Vor zwei Wochen, am 2. Oktober, kam als Antwort Es ist heute keiner da, der ein neues Band einlegen könnte!
Gut, jetzt werfen wir das Band nicht mehr aus, weil zwei Tage ohne Backup sind auch nicht sehr sinnvoll. Heute kam die Antwort Bitte das Band auswerfen, sonst muss ich zu lange warten. 30 Sekunden.

Gestern abend, kurz vor 18 Uhr kam eine Email. Auf einem Server seien Probleme mit dem DNS. Ich schaus mir heute morgen an – die Mail war so spät, dass keiner mehr im Büro war. Natürlich geht wieder alles. Rückmeldung an den User, und auch reingeschrieben, dass der DNS-Truppe keine Probleme bekannt sind. Dann kam ne Antwort, dass es jetzt wieder ginge, aber die DNS-Probleme wären wohl bis 21:00 Uhr feststellbar gewesen. Auf meine Bitte nach mehr Infos kam sofort ne Antwort:

Bin bis Ende August im Urlaub

Einer meiner User ist irgendwie ein unangenehmer Zeitgenosse. Sucht manchmal Probleme, geht damit anderen Leuten auf die Nerven, macht viel Arbeit, wo eigentlich alles in Ordnung ist.
Heute, im Gespräch mit ihm bot sich die Lösung, um ihn abzuwimmeln: er hat ein schlechtes Namensgedächtnis. Da wärs doch eine gute Idee, seine Anfragen nur dann zu beantworten, wenn er sie jemandem namentlich zuordnen kann.