RRZE – Projekte & Prozesse (P&P)

Das Blog der RRZE Stabsstelle "Projekte & Prozesse"

Content

Kleines Team, große Schritte

Bereits in der ersten Woche konnte die kleine Gruppe um Krasimir Zhelev (PPSA) wichtige Fragen klären und die ersten Schritte in die richtige Richtung tun.

Das Layout des neuen IDMone-Service-Portals konnte dank des Web-Baukastens der Friedrich-Alexander-Universität beinahe vollständig umgesetzt werden. Da der Web-Baukasten bereits alle notwendigen Eigenschaften bietet, konnten sich die Entwickler auf dessen Integration als Komponente in Tapestry 5 konzentrieren. Dabei wurden gewisse Funktionen des auf Perl-basierende Navigations-Skript in Java und mit Mitteln von Tapestry 5 umgesetzt.

Die Möglichkeiten der Lokalisierung wurden getestet und ein sogenannter Locale-Switcher wurde entwickelt. Dadurch kann die Sprache des gesammten Portals umgestellt werden. Eine zusätzliche Sprache lässt sich ohne großen Aufwand, die eigentliche Übersetzungsarbeit einmal ausgenommmen, hinzufügen.

Die Arbeiten an einem Konzept für die Session-Verwaltung wurden begonnen. Login, Session Timeout und Logout konnten prototypisch umgesetzt werden. Dabei konnte das eigenentwickelte Navigationsmenu durch seine dynamisch anpassbare Menustruktur punkten.

Die Authentifizierung wurde bereits erfolgreich gegen unterschiedliche Datenhaltungen getestet. Unter den getesteten Datenhaltungen befindet sich selbstverständlich auch das Meta-Directory von IDMone. Damit ist eine Anmeldung von Personen wie bei der verworfenen UserApp bereits realisierbar. Eine erfolgreiche Authentifizierung gegen eine Datenbank inkl. hierarchischen Gruppen rundet die positiven Erfahrungen der ersten Woche ab.

 

Small Team Big Steps

Already in the first week the small group around Krasimir Zhelev (PPSA) could resolve important questions and take the first steps into the right direction.

The layout of the new IDMone-Service-Portal could nearly completely be implemented thanks to the Web-Baukastens der Friedrich-Alexander-Universität. Because this web construction kit already offers every necessary properties, the developers could concentrate on its integration as a component in Tapestry 5. In the process special functions of the Perl based navigation script were implemented in java with the help of tools by Tapestry 5.

The possibilities of localisation were tested and a so called locale-switcher was developed. Because of this the language of the whole portal can be changed without much work, apart from the translation work itself.

The work on a concept for the session management started. Login, Session Timeout and Logout could be implemented prototypically. At the same time the self developed navigation menu scored with its dynamic adaptable menu structure.

The authentification has already successfully been tested with different data keepings. Among the tested data keepings there is of course the meta-directory of IDMone. Therefore a registration of persons as for the rejected UserApp can be realised. A successful authentification against a data bank including hierarchical groups rounds up the possible impressions of the first week.

Startschuss für das neue IDMone-Service-Portal

Der Startschuss für die Eigenentwicklung des neuen IDMone-Service-Portals ist gefallen. Betraut mit dieser Aufgabe wurde die innerhalb der Stabsstelle “Projekte & Prozesse” neu gegründete Gruppe “PP Software Architektur” (kurz PPSA). Unter der Leitung von Krasimir Zhelev entsteht eine Web-Applikation, welche die komplexen Anforderungen von IDMone erfüllen wird.

Durch den sehr engen Zeitplan wird die Web-Applikation vorerst nur unbedingt nötige Funktionalitäten enthalten. Ziel für das erste Release ist eine solide Basis, welche mit geringem Aufwand um zusätzliche Funktionalitäten erweitert werden kann. Parallel sollen die Voraussetzungen für eine agile Softwareentwicklung geschaffen werden. Eine integrierte Umgebung für Spezifikation, Entwicklung, Tests und Dokumentation befindet sich im Aufbau.

 

Start of the new IDMone-Service-Portal

The starting signal for the self development of the new IDMone-Servie-Portal is fallen. The new founded group “PP Software Architecture” (PPSA) within the staff unit “Projects and Processes” is in charge of this project. Under the administration of Krasimir Zhelev a web application is developing which fulfills the complex requests of IDMone.

Because of the very tight schedule, the web application will only contain the absolutely neccessary functionalities for now. Goal of this first release is a solid base which can be expanded with further functionalities without much work. Parallel the preconditions for an agile software development should be created. An integrated environment for specifications, development, tests and documentation are work in progress.

IDM-Wochen_E-Mail KW 10

Die lange Stille im Blog heisst nicht, dass das Team von IDMone passiv war. Es wurde intensiv an allen Aufgaben gearbeitet, die als Voraussetzung für ein Roll-Out der ersten Version erledigt sein müssen.

Wie bereits berichtet, soll als erster Schritt die Anbindung der Quellsysteme SOS und Diapers abgelöst werden. Die dafür nötigen Treiber sind bis auf die Berücksichtigung der führenden Systeme pro Attribut fertig, wobei der Treiber für die SOS-Anbindung noch ohne Trigger läuft. Die Trigger sind zwar fertig, der Treiber erkennt sie aber noch nicht. Die erstaunlich gute Performanz beider Treiber erlaubt aber, zur Not auch ohne Trigger online zu gehen.

Um online zu gehen ist es nötig, die Datenqualität der Quellsysteme zu beurteilen und zu optimieren. Ebenso wichtig ist, dass die Einträge im Altsystem den Personen im IDM-Meta-Directory zugeordnet werden. Ansonsten kann das Altsystem nicht sinnvoll provisioniert werden.

Um das zu gewährleisten, wurden verschiedene Tools geschaffen.

Herr Tröger erstellte ein Matching-Framework, um flexibel neue Regelwerke implementieren zu können. Das Tool verfolgt einen generischen Ansatz und wird mit einer CRUD-Weboberfläche konfiguriert. Herr Zhelev fügte ein eingebettetes Regelwerk mit Hilfe von Java Business Rules Engine (drools) hinzu. Als Basis dafür wurde ein wissenschaftliches Fundament geschaffen, in dem erörtert wurde, wie man Personen-Objekte regelbasiert analysieren und matchen kann. Er hielt darüber einen Vortrag im Rahmen des Arbeitskreises Meta-Directory der Bayerischen Rechenzentren.

Daraus resultierten Fehlerlisten, die den Fachanwendern zur Verfügung gestellt wurden.

Ein ebenso wichtiges Ergebnis waren Methoden, mit deren Hilfe Einträge aus den Quellsystemen im Altsystem gefunden und markiert werden konnten. Leider blieben noch ca. 12000 Klärfälle übrig, wo nicht klar ist, ob es sich um ‘Sonstige’ (Gäste etc.) handelt, oder um Einträge mit Schreibfehlern, die nicht automatisch zu Einträgen aus den Zielsystemen zugeordnet werden konnten. Eine Liste mit ca. 5800 Einträgen, die in den Quellsystemen existieren aber nicht im Altsystem gefunden wurden wird derzeit von studentischen Hilfskräften abgearbeitet.

Damit diese Hilfskräfte effizient arbeiten können, wurde von Herrn Tröger ein Tool entwickelt, das einerseits gewährleistet, dass sie nur das sehen, was sie sehen dürfen, und andererseits die Arbeit stark unterstützt. Das Abarbeiten der Listen wird sicher noch einige Zeit in Anspruch nehmen.

Nicht zuletzt konnte aus den Erfahrungen mit den Matching-Algorithmen eine sinnvolle Kombination erarbeitet werden, die zu einem späteren Zeitpunkt in den Quellsystem-Treibern verwendung finden soll.

Das Altsystem wurde inzwischen auch lesend angebunden, wird aber vorerst nicht verwendet, da ein Parallelbetrieb von Alt- und Neusystem auf den gleichen Daten nicht mehr vorgesehen ist.

Die Anbindung von UnivIS steckt noch in den Kinderschuhen. Zwar existiert inzwischen eine Schnittstelle, aber im Moment verfügen wir nicht über die nötige Manpower für die Umsetzung. Erste Tests der API sind aber bereits erfolgt.

Herr Singer ist im Moment dabei, Novell Audit zu testen. Hier werden sich Herr Singer und Herr Rygus in Salt Lake City nähere Informationen holen. Im Moment lauscht ein rudimentär konfiguriertes Audit auf alles, was sich bietet.

Rein administrativ sind auch einige Hausaufgaben fertig gestellt worden. So sind die in der letzten Wochenmail erwähnten Platten im Produktivsystem im Betrieb. Die Nagios-Überwachung läuft. Unser Linux-Terminalserver ist inzwischen auch in Betrieb gegangen. Eine neue VMware für SSO ist auf Basis von Shibboleth 2.0 in Arbeit. Hier ist der Fokus aber noch etwas langfristiger. Vor Mai ist hier nicht mit entscheidendem Fortschritt zu rechnen. Als nächstes werden die Systeme an unser Backup angeschlossen.

Es wurde beschlossen, die bereits funktionsbereite Version des IDM-Systems für die Generierung von Kongress-WLAN-Accounts einzusetzen. Hier wird keine Datenbasis aus unserern Quellsystemen benötigt. Da keine schützenswerten Daten anfallen, kann das System im Wissenschaftsbereich bedenkenlos aufgesetzt werden. Die VMwares hierfür sind fertig. Die aktuellen Treiber müssen noch übertragen werden. Das System soll Ende dieser Woche für letzte Tests übergeben werden.

Zum Schluss muss leider noch angemerkt werden, dass IDMone mit seinen Anforderungen die Fähigkeiten der User Application derartig überfordert, dass beschlossen wurde, hier eine Eigenentwicklung einzusetzen. Das wirft zwar den Zeitplan von IDMone deutlich zurück, verspricht aber langfristig eine bessere, flexiblere, barrierefreie Weboberfläche, die wir besser pflegen können.

Die nächsten Schritte werden sein:

– Roll-Out der Kongress-WLAN-Anwendung
– Konzeption der Neuentwicklung zum Ersatz der User Application
– Herr Dr. Rygus und Herr Singer werden die Brainshare besuchen und dort versuchen, Antworten für eine Reihe von Fragen zu erhalten.

Die Top-Punkte im Risiko-Management sind derzeit:
– Neuentwicklung Web-Front-End
– Abbildung der Organisationsstruktur
– Anbindung RRZE-Abrechnung
– Dienstleistungsportfolio

Quellsystem-Treiber im Dauertest

Seit gestern befinden sich die Treiber zur Anbindung von IDMone an Diapers und HIS SOS im Dauerbetrieb. Dadurch soll die Stabilität getestet werden. Ein rudimentär implementierter Treiber zum Lesen der Daten aus dem Altsystem läuft ebenfalls im Dauerbetrieb. Eine gemeinsame Datenbasis ist in Vorbereitung.

Anbindung an HIS-SOS

Seit gestern sind die Probleme bei der Anbindung an die PostgreSQL-DB von HIS SOS beseitigt. Der Treiber ist soweit fertig, dass der initiale Bulk-Load erfolgt ist. Nach Freigabe der Trigger wird der Betrieb auf die Verwendung von Triggertabellen umgestellt.

Diapers-Treiber läuft

Seit gestern läuft die Anbindung an die Informix-DB von Diapers unter Verwendung von Triggern. Erste Tests sehen vielversprechend aus. Im Moment werden die Tabellen noch nicht von bearbeiteten Einträgen bereinigt.

IDM-Wochen_E-Mail KW 05

Die letzte Woche hat gezeigt, dass die noch ausstehenden Lasttests unserer Systeme dringend gemacht werden müssen. Beim bulk-load der Daten aus SOS waren die Systeme am Anschlag und konnten die Photos nicht mehr übertragen. Der Arbeitsspeicher von 3 GB war nicht ausreichend. Bereits vorher lief eine Platte aufgrund wachsender Swap-Files voll. Neue PLatten sind bestellt und sollten das zweite Problem beseitigen. Es ist allerdings noch zu klären, warum der Speicher trotz der für Datenbanken eher geringen Menge an Einträgen nicht ausreichend war. Des weiteren zieht der Dienst beim initialen bulk-load nahezu die gesamte Rechenleistung auf sich. Auch daran muss gearbeitet werden.

Wie oben bereits implizit erwähnt, ist der Treiber für die Anbindung an SOS soweit fertig, dass ohne Trigger gearbeitet werden kann. Abgesehen von den Hardwareproblemen und den hier noch ausstehenden Tests ist die Anbindung erfolgt. Die Punkte, die in der letzten Wochen-E-Mail für den Diapers-Treiber offen waren, gelten allerdings auch uneingeschrtänkt für den SOS-Treiber.

Inzwischen ist die lesende Anbindung des Altsystems in Arbeit. Das sollte diese Woche abgeschlossen sein. Danach kann die Datenqualität über alle unsere Quellsysteme getestet werden.

Erste Tests mit noch relativ einfachen Regeln und einer Normierung der Quelldaten haben gezeigt, dass das Regelwerk und die zugrunde liegenden Funktionen einer Überarbeitung bedürfen. Herr Zhelev kümmrert sich darum, die Levenshtein-Funktion zu modifizieren. Die Listen der zu überprüfenden Klärfälle gehen erst danach an die Fachanwender.

Herr Tröger bereitet bereits ein Framework vor, mit dessen Hilfe die Ergebnisse ausgewertet und angezeigt werden können. Die Fehlerlisten für die Fachanwender werden auch daraus generiert. Darüberhinaus prüft er die Möglichkeiten, ein sinnvolles Regelwerk im DirXML-Framework des Treibers zu implementieren.

Seit Ende letzter Woche unterzieht er das Schema einem nötigen Review. Dieser Vorgang dauert noch an.

Herr Zhelev hat sein Tool zur Passwortgenerierung zur Veröffentlichung vorbereitet. Er wurde in der vergangenen Woche einen Tag an das Team von CIT ausgeliehen, um dort die LDAP-Anbindung der Java-Applikation zu unterstützen. Sein Tool findet dort auch verwendung.

Herr Singer arbeitet bereits an der Vorbereitung des Regelbetriebes. Er hat das Überwachungs-Tool Munin eingerichtet.

Die nächsten Schritte in KW 06 werden sein:

– Arbeiten an den Matching-Regeln
– Prüfung von erkannten Klärfällen durch die Fachanwender (Übergabe)
– Lesende Anbindung des Altsystems

Die Top-Punkte im Risiko-Management sind derzeit:
– Barrierefreie Weboberfläche Novell Front-End
– Abbildung der Organisationsstruktur
– Anbindung RRZE-Abrechnung
– Dienstleistungsportfolio

Diapers-Bulk-Load erstmals erfolgt

Die lesende Anbindung an Diapers ist soweit fertig, dass ein initialer Import (bulk load) der Personendaten möglich ist. Die Umstellung auf den Betrieb mittels Trigger steht noch aus.

IDM-Wochen_E-Mail KW 04

In der vergangenen Woche wurde vor allem an der Anbindung der Quellsysteme gearbeitet. Der bulk-load der Daten aus Diapers ist inzwischen gelaufen. Verbesserungen können jedoch noch nötig werden, wenn klar ist, welche Matching-Regeln wir für den Betrieb benötigen. Hier sind führende Systeme zu deklarieren, damit die Datenbasis unabhängig von der Reihenfolge der Übernahme bleibt.

Die SOS-Anbindung ist soweit fertig, dass der erste Test eines bulk-load gerade läuft. Ob Anpassungen nötig werden, sieht man danach.

Herr Tröger arbeitete am Datenimport via JDBC in die Hilfsdatenbank, um die Matching-Regeln zu entwickeln. Das dauert noch an. Fehlerlisten für die Fachabteilungen sind in Arbeit. Statistiken ebenfalls.

Bei den Arbeiten am Self-Service-Portal stießen wir leider wieder auf einige Fehler bzw. nötige Anpassungen durch Novell. Die Bug-Reports sind online. Dennoch gehen die Arbeiten auch an der User Application weiter. Neu implementiert sind PDF-Druckfunktionen und eine bessere Verwaltung von Zugangsdaten für .war-Dateien.

Herr Zhelev bereitet gerade die Veröffentlichung von seinem im Rahmen von IDMone erstellten tool ‘pwgen’ vor. Dafür wurde Doku erstellt.

Herr Singer richtete die pam_ldap-Authentifizierung auf dem Server “sso” ein und bereitete mehrere Server auf die Einführung von Munin vor.

In der letzten Teambesprechung wurde der Projektplan aktualisiert. Es zeichnet sich ab, dass eine Einführung von IDMone in den Regelbetrieb nicht vor der KW 16 zu erwarten ist.

Die nächsten Schritte in KW 05 werden sein:

– Arbeiten an den Matching-Regeln
– Prüfung von erkannten Klärfällen durch die Fachanwender (Übergabe)
– Lesende Anbindung des Altsystems

Die Top-Punkte im Risiko-Management sind derzeit:
– Barrierefreie Weboberfläche Novell Front-End
– Abbildung der Organisationsstruktur
– Anbindung RRZE-Abrechnung
– Dienstleistungsportfolio

IDM-Wochen-E-Mail KW 03

Die Zeit nach Weihnachten wurde genutzt, um die im Februar anstehende erste live-Anbindung vorzubereiten. Seit letzter Woche stehen die Quellsysteme prinzipiell zur Verfügung. Teilweise müssen die Views noch angepasst werden, um die Anforderungen abzudecken.

Der erste bulk-load der Diapers-Daten läuft. Die SOS-Daten können aufgrund eines Fehlers im View der Datenbank noch nicht ausgelesen werden. Es wird daran gearbeitet.

Parallel wurden die Quelldaten aus SOS und Diapers via Script in eine Hilfs-Datenbank eingelesen. Mit Scripten auf diese Datenbank soll die Datenqualität der Quellsysteme beurteilt und erste Auswertungen zur Zusammenführung der Datenbestände erstellt werden. Die Arbeiten dauern hier noch an.

Darüberhinaus wurde die Provisionierung von Sitebar vorbereitet. Es wurden Workflows und Anzeige-Portlets erstellt.

Auch an der Provisionierung des E-Mail-Systems wurde gearbeitet. Hier treffen die Anforderungen allerdings nur sehr zögernd ein, sodass ein Ende nicht in Sicht ist.

Herr Singer setzte den Server für SSO neu auf, sodass auch hier eine Provisionierung bald möglich ist. Der erste Terminalserver in der ZUV-DMZ (pp-win-ts) ist betriebsbereit und wird genutzt.

Herr Zhelev und Herr Eggers machten die User-App ‘salonfähig’, d.h. die Oberflächen und die Anordnung der bereits verfügbaren Portlets wurden finalisiert.

Herr Rygus vertrat das RRZE am Freitag in der Videokonferenz der Bayerischen Rechenzentren. Leider war diese Konferenz nicht sehr ergiebig, da man Augsburg nicht verstehen konnte, Würzburg einen anderen Termin hatte und deshalb sehr früh gehen musste und die Ausführungen des LRZ zum Thema 1:n bzw. n:1-Beziehungen im Identity Manager nur schwer nachvollziehbar waren. Das LRZ wird die notwendigen Dokumente zur Verfügung stellen.

Die nächsten Schritte der laufenden Woche werden sein:

Finale Anbindung der Quellsysteme SOS und Diapers und erste Versuche einer Datenzusammenführung.

Danach wird mit folgender Priorisierung weitergearbeitet:

1 Bereinigung der Quelldatenbasis (Daten-Merge)
– Anbindung der Quellsysteme
– Beurteilung der Datenqualität
– Erarbeitung eines Merge-Konzepts
– Merge

2 Anbindung Altsystem
– Provisionierung der bereinigten Daten in einen
Provisionierungsbaum des Altsystems (IDMone)
– Einspielen der Daten ins Altsystem (GB)
– Abschalten der Datenübernahme aus der ZUV (Export und Import) (GB)

3 Versorgung der Studenten
– Aktivierung via Self-Service
– Weitere Self-Service-Funktionen

4 Anbindung Shibboleth
– Provisionierung LDAP-Server
– Bereitstellung IDP

5 Anbindung Radius
– Provisionierung LDAP-Server

6 Anbindung ADS/NDS

Die Top-Punkte im Risiko-Management sind derzeit:
– Barrierefreie Weboberfläche Novell Front-End
– Abbildung der Organisationsstruktur
– Anbindung RRZE-Abrechnung
– Dienstleistungsportfolio