Alligator Company Software GmbH

Anforderungsanalyse und Umsetzung von Anforderungen im Bereich eines Reisanbieters.

AWS data pipeline in das Snowflake DWH mit Docker images auf Kubernetes Clustern zum Datentransport.

Evaluation von Infrastructure As Code mittels CloudFormation und Terraform. Serverless Services mittels Lambda.

Eingesetzte Werkzeuge: DB2 LUW, Informatica, DBT, Kubernetes, Docker, Snowflake, Amazon Redshift

Aufgaben: Entwicklung, Modellierung und ETL für die zentrale DB KundenDatenbank

Aufgaben

System- und Business-Analyse neu anzubindender Quellsysteme, mit Beachtung von DSGVO Anforderungen und Governance-Prozessen. Konzeption und Implementierung der Datapipeline von der Quelle über den DataLake Ingest bis zur Integration in das Core DWH auf Basis eines DataVault Modellierungsansatzes. Entwicklung der Lösungsarchitektur und Einführung benötigter Komponenten in die Software Architektur. Projektbeteiligte 20 Personen

Eingesetzte Werkzeuge

Datenbanken Big Query & Exasol.

GCP PubSub, GCP Functions, GCP API Gateway, GCP Cloud Build.

DevOPS & terraform.

Aufgaben:

Entwicklung und Modellierung:

Datavault, dbtvault, Google BigQuery, Docker

Anforderungsanalyse und Erstellung von Konzepten. Data Vault Modellierung und ETL Im Bereich Online Handel. Umsetzung in Oracle Packages und View. Arbeit im agile Scrum Umfeld.

Eingesetzte Werkzeuge:
Oracle 12.2, SQL, PL/SQL

Aufgaben:
Entwicklungs, Modellierung und ETL von Data Vault Anforderungen im Online Handel

Architekturberatung und Umsetzung von DevOps/DataOps Mechanismen und Erneuerung der Data Pipeline in der Programmiersprache Python. Testszenarien definieren mit DBT.Scheduling der Batchverarbeitung mittels Airflow. CI/CD mittels Gitlab.

Eingesetzte Werkzeuge:
Docker, AWS S3, SQL, DB2 BLU, Amazon Redshift, Snowflake-DB, DBT, Airflow, Kubernetes, Batchverarbeitung, ELT/ETL, DevOps/DataOps, TDD, CI/CD, Gitlab

dbtvault data integration and data mart modeling

Architekturverantwortung, Modellierungsrichtlinien und Beratung der Modellierer im Umsetzungsprojekt. UDG Data Vault Generator XText und Java. IGC Glossar und Mapping Transporte. IDA logische Modellierung und Umsetzung in Data Vault. Testszenarien für Batch-Jobs entwickeln mit DBFit/Fitnesse.

Eingesetzte Werkzeuge:
UDG Data Vault, Oracle, Batchverarbeitung, ELT/ETL TDD

Für einen Verlagskonzern wurde eine Generatorlösung für Datavault entwickelt. Die Datenmodelle aus dem PowerDesigner und entsprechende Informatica Mappings dienten dabei als Basis für die Generierung der Mappings für Hub, Link und Satelliten im Zielmodell, das aus dem PowerDesigner XML ausgelesen wurde. Das Tool wurdei von mir in Java entwickelt und an den Kunden ausgeliefert.

Aufgaben:
Entwicklung und Architektur

Eingesetzte Werkzeuge:
Informatica PowerCenter, Java, XML, PowerDesigner

Im Migrationsprojekt wurden Datenanalysen durchgeführt und PL/SQL Routinen für die Migration der Daten zu einer Firmenzusammenführung der operativen Systeme erstellt.

Aufgaben:
Entwicklung

Eingesetzte Werkzeuge:
Oracle, PL/SQL

Einführung von DBT auf Snowflake in AWS. Airflow Scheduler und Python Operator für DBT. Das bestehende, seit 10 Jahren laufende Data Warehouse sollte im Zuge der Cloud-Strategie erneuert und in die AWS Cloud migriert werden. Die Lift-and-Shift Strategie mit Informatica (dem bestehenden ETL Werkzeughersteller) wurde aufgrund eines PoC verworfen. Mittels Python basierten Data Pipelines werden die Daten in eine persistent Staging Area mit JSON Strukturen in Snowflake integriert. Im Zugriff werden External Table Definitionen als View in die S3 Buckets generiert. Auf Basis dieser Quelldaten werden die Schnittstellen technisch historisiert. Diese Modelle werden per Python und Ninja generiert. Anschließend wird per DBT Modelle das Datavault Modell erzeugt und im Ausgang sogenannte Flatmarts generiert, die für das Frontend bereitgestellt werden. Die Orchestrierung erfolgte mit Airflow und das Deployment wurde in Kubernetes Cluster vorgenommen. Mittels Gitlab wurden etnsprechende CI/CD Pipelines entwickelt, die die Docker-Images für die Data Pipeline, die DBT-Dags und die entsprechenden DBT-Projekte entsprechend koordinierte, um Entwickler- und Integrationstests auszuführen. Die Programmierung der Python Pipelines und die Generierung der PSA waren meine Aufgaben.

Eingesetzte Werkzeuge:
DB2 LUW, DBT, AWS S3, s3cmd, Pyhton, Jinja

Aufgaben:
Entwicklung, Modellierung und ELT für die zentrale DB KundenDatenbank

Data Vault Modellierung mit MID Innovator und SAS-DI. Organisation und Beratung des Review-Prozesses. Beratung der Modellierer im Umsetzungsprojekt. Erstellung von DB2 Data Mart Views und Definition von Business Vault Regeln im BPMN.

Eingesetzte Werkzeuge:
MID Innovator, DB2, SQL

Aufgaben:
Entwicklungs- und Modellierungsrichtlinien, Modellierung von Datenmodellen im DWH-Core

Im Data Warehouse wurde die Datenmodellierung mittels Datavault Builder erstellt. Als Datenbank wurde Exasol angewendet. Für ETL/ELT Prozesse wurde DBT benutzt.

Eingesetzte Werkzeuge:

Review und Beratung zu den Konzepten bei der Datavault Modellierung, Automation und DataOps. Vorschläge zu Verbesserungen in Architektur und Umsetzung mittels DBT, Airflow, Docker, Kubernetes und Snowflake.

Eingesetzte Werkzeuge:
Datavault-Builder, Snowflake, DBT, Kubernetes, Docker, Azure DataOps, Airflow

Aufgaben:
Review und Beratung

Architekturberatung im Umsetzungsprojekt. UDG Data Vault Generator XText und Java. Physische DB Optimierung auf Oracle.

Eingesetzte Werkzeuge:
UDG Data Vault, Oracle, Batchverarbeitung, ELT/ETL, TDD

Im Enterprise Data Warehouse habe ich die Datenmodellierung mittels Datavault Builder erstellt und die Beladungen entsprechend verwaltet. Das Datenmodell wurde nach fachlichen Vorgaben des Business Analysten umgesetzt und umfasste Vertrag, Schaden, Kunde und Zahlungen. Besonderheit war hierbei das bi-temporale Quellsystem, das entsprechend im Datavault mit versionierten Hubs realisiert wurde. Basierend auf dem so definierten Ausgangsmodell habe ich die SQL Ausgangsviews für das Frontend Qlik erstellt und die Performance Optimierungen auf dem SQLServer durchgeführt. Dabei wurden die Ausführungspläne analysiert und entsprechende Maßnahmen wie Indexierung und Businessvault Materialisierungen angewendet. Außerdem wurden betehende Talend-ETL abgelöst und an die neuen Ausgangsstrukturen des EDWH angepasst.

Aufgaben:
Entwicklung

Eingesetzte Werkzeuge:
Datavault Builder, SQLServer, SQL, GIT, Qlik, Talend

Aufgaben

Steuerung von Entwicklungsthemen als Lösungsarchitekt.

Entwicklung einer Datenstrategie in der Cloud.

Eingesetzte Werkzeuge

Azure, DataOps

Anforderungsanalyse und Umsetzung von Anforderungen im Bereich eines Automobilzulieferers im Bereich der Embedded Softwareentwicklung. Die Einführung der DataOps Methoden in Microsoft Azure mittels Exasol, Datavault Builder. Beratung und Training zu Modellierung, Entwicklungsmethoden und Kostenanalysen zur Einführung einer neuen Datawarehouse Infrastruktur und Entwicklung. Eingesetzte Werkzeuge: Datavault-Builder, Exasol, DBT, Kubernetes, Docker, Azure DataOps Aufgaben: Konzeption, Beratung und Training zur Einführung der Infrastruktur und Entwicklungsmethoden

Eingesetzte Werkzeuge

Datavault-Builder, Exasol, DBT, Kubernetes, Docker, Azure, DataOps Aufgaben: Konzeption, Beratung und Training zur Einführung der Infrastruktur und der Entwicklungsmethoden

Unterstützung und Beratung bei der Einführung der MID BI Solution
- Coaching der Modellierer zum optimalen Einsatz des Werkzeugs Innovator unter Ausnutzung vorhandener Automatismen, Modelltransformationen und Prüfungen Konzeption und Entwicklung weiterer Automatismen für Kundenbedarf
- Innovator-Funktion zum Import von Mapping- Informationen zu vorhandenen Berichten in Form von Modellverknüpfung zwischen Attributen innerhalb des Datenmodells

Eingesetzte Werkzeuge:
MS SQL Server 2016, Data Vault 1.0 in Kombination
mit bitemp. Historisierung, Innovator v12.3 mit neuen Java-Engineering-Aktionen

Aufgaben:
Landschaft Bodenkreditbank, Münster Integration verschiedener Datenquellen (u.a. Hostdaten) in einer MS SQL Server 2016 Plattform unter Verwendung eines modifizierten DataVault 1.0 Vorgehen

Durchführung POC und Beratung DWH Modernisierung mit DBT und Datavault Builder auf der Exasol Datenbank. Programmierung des DBT-Adapters für Exasol in Python und Jinja. CI/CD mittles Gitlab.

Eingesetzte Werkzeuge:

Exasol, DBT, ELT, Docker, Gitlab, CI/CD, VisualStudio Code, Batchverarbeitung, ELT/ETL, DevOps/DataOps, TDD, Python

Dbt-exasol Adapter, POC SBK Beim Vorhaben der Modernisierung des bestehenden Data Warehouse sollten Analytics Engineering Methoden wie git, CI/CD und ELT auf Basis der bestehenden Exasol Analytics Datenbank eingeführt werden. Examplarisch wurden die Abläufe hierfür im Testsystem des Exasol DWH, mittels DBT und gitlab in der Entwicklung der ELT Batchverarbeitung und einem Beispiel Datamart umgesetzt. Die entsprechende Entwicklungsumgebung für Python und DBT wurde mittels docker und docker-compose bereitgestellt. Der Exasol-Adapter für Exasol wurde hierfür in Python und Jinja entwickelt. Mittels der Datenmodellierung im MID Innovator wurden die entsprechenden Datavault Komponenten aus einem Geschäftsobjektmodell als DBT-Modelle generiert, so dass die Datenintegration über Hub, Satellit und Link anhand der Datavault Muster generiert werden konnte. Außerdem wurden Supernova Views generiert, die das Datavault Integrationsmodell wieder als Entitäten inklusive der Versionierung als DBT-Modelle darstellten. Im Ergebnis konnten dann die Geschäftsregeln und ausleitenden Datamart Modelle per DBT-Modelle in SQL entwickelt werden. Die Modelldaten, Metadaten und die DBT Modell inklusive der SQL-basierten DBT Modelle können in gitlab versioniert werden. Durch die Auswahl der Elemente im MID-Geschäftsobjektmodell kann die Generation auch gezielt gefiltert werden, so dass inkrementelle und parallele Entwicklung mit mehreren Entwicklern und entsprechenden Features-Branches im gitlab vorgenommen werden können. Am Sprintende können dann die Featurebranches wieder zusammengeführt werden, um das Sprintrelease zu erzeugen. Eingesetzte Werkzeuge: Exasol, VisualStudio Code, Dbeaver, DBT Aufgaben: Entwicklung, Modellierung und ELT von Datenmodellen im DWH

Unterstützung bei der Einführung der MID BI Solution. Beratung zum Einsatz von Modellierungsmethoden und –werkzeugen, im Speziellen bei den Punkten:
- modellgetriebenen Vorgehensweisen und passender Modellierungen für Erfassung, Spezifikation und Realisierung von Anforderungen eines DWH
- Daten- und Schichtenarchitektur des DWHs
- Coaching der Entwickler zum optimalen Werkzeugeinsatz des MID Innovator Information Architect unter Ausnutzung vorhandener Automatismen, Modelltransformationen und Prüfungen und Generatoren
- Einbindung des Innovators in die VHV-IT-Infrastruktur und –Rechteverwaltung
Konzeption und Entwicklung weiterer Automatismen:
- Export von DataVault-Mapping Metadaten an SAS DataIntegrator
- Erweiterung der Datenbank-DDL-Generierung zur Erstellung von Table-Spaces nach VHV Architekturrichtlinie
Planung und Unterstützung bei der Migration des
MID Innovator Information Architect von v12.3.1 auf v13.1.2

Eingesetzte Werkzeuge:
Data Vault 2.0, DB2 11.0+ mit Einsatz der Blu-
Acceleration, SAS DI und Talend, Innovator, Eclipse, FlyWay, JMeter

Aufgaben:
Entwicklungs, Modellierung und ETL von Data Vault Anforderungen, Werkzeugeinführung und Datenarchitektur

Anforderungsanalyse und Umsetzung von Business Vault Anforderungen im Data Vault. Anpassung des bestehenden Data Vault. Bereitstellung von Daten für die regulatorische Bais Software. Umsetzung in Oracle Packages und Views. Arbeit im agile Scrum Umfeld.Eingesetzte Melde Software BSM. Projektvorgehen nach SAFE.

Eingesetzte Werkzeuge:
Oracle 12.2, SQL, PL/SQL

Aufgaben:
Entwicklungs, Modellierung und ETL von Data Vault Anforderungen für regulatorische Bank Meldungen

Im bestehenden DB2 Data Warehouse wurde mittels Informatica PowerCenter das
Vertriebsreporting unterstützt. Auswertungen zu Buchungsstatistiken und verschiedene
Datamarts wurden ergänzt und neu erstellt.

Eingesetzte Werkzeuge:
DB2 UDB, DB2 BLU, SQL, Informatica PowerCenter, UC4 Scheduling

Aufgaben:
Entwicklung, Analyse, Dokumentation

Review von Maßnahmen für die Redesignphase einer zentralen Datenverteilungsplattform und Review des DataVault-Methodik. Empfehlung weiterer Massnahme. Entwurf und Konzeption von Lösungsansätzen für Problemfelder. Unterstützung des Architekten im Architekturteam. Klärung von Fragen und Präzisierung der Architekturvorgaben. Entwicklung von Lösungsansätzen für Konzeptionsprobleme, z.B. Multi-Active-Sat

Eingesetzte Werkzeuge:
Oracle 12.2 SQL, Eclipse

Aufgaben:
Entwicklung & Modellierung und Data Vault Datenarchitektur

Unterstützung bei der Anpassung der MID BI Solution.
Beratung und Coaching zum Einsatz von Modellierungsmethode und –werkzeug, im Speziellen bei den Punkten:
- modellgetriebenen Vorgehensweisen und passender Modellierungen für die Erfassung, Spezifikation und Realisierung von Anforderungen eines DWH
- Daten- und Schichtenarchitektur des DWHs
- Coaching der Modellierer und Entwickler zum optimalen Einsatz des Innovators als Werkzeug unter Ausnutzung vorhandener Automatismen, Modelltransformationen und Prüfungen
- Konzeption und Umsetzung eines auf Kundenbedarf optimierten Modellierungsvorgehens und gleichzeitige Anpassung der Automation an die neue Ziel- Architektur: die Datenintegration wird auf Talend EE mit eingebettetem ELT-SQL umgestellt.
Konzeption und Anpassung bzw. Neuentwicklung von Automatismen:
- Generierung VHV-spezifischer DV2.0-DML-SQL für Datavault Hub, Link, Sat
- RefTable + RefTable-Sat
-Status-Sat für Hub/Link & RefTable
- Generierung von Talend-DV-Versorgungsjobs mt Hilfe von Talend-JobScript & Einbettung von DV- DML-SQL (siehe Punkte vorher)

Eingesetzte Werkzeuge:
Lösung: Data Vault 2.0, IBM DB2 BLU, SAS DI, Talend, Flyway.
Entwicklungsprozess: Jira, git, Innovator, git, FlyWay, Jmeter.
Generator-Entwicklung: Innovator, Xpand/Xtend, Eclipse, Java, eclEmma, maven

Aufgaben:
Entwicklungs, Modellierung und ETL von Data Vault Anforderungen für regulatorische Bank Meldungen

Die NORD/LB baut eine Datendrehscheibe auf. Ziel ist es, alte Hostapplikationen zu ersetzen
und eine neue Belieferungsstrecke für den SAP Bank Analyzer 8.0 aufzubauen. Der Bank
Analyzer wird für Basel III benötigt.

Eingesetzte Werkzeuge:
DB2 9.7/10.2, IBM DataStage 8.7, IBM Clearcase/-quest 7.1

Aufgaben:
Dokumentation, Programmierung, Test- und Releasemanagement, Deployment

Im bestehenden Data Warehouse wurden neue ETL Strecken mittels BODS eingebaut, die das Datenmodell gemäß Reportanforderung befüllt haben. Darauf aufsetzend habe ich das Business Objects Universum zur Ad-hoc Analyse und auch eigene Reports zur fertigen Auslieferung erstellt. Zur Performance Optimierung der bestehenden ETL Strecken wurden Ausführungsführungspläne analysiert und SQL entsprechend angepasst beziehungsweise ETL umgebaut.

Aufgaben:
Entwicklung

Eingesetzte Werkzeuge:
BODS, Oracle, BusinessObjects Reports

• Modellierung E-DWH und Data Mart mit MID Innovator
• Data Vault Modellierung und Automatisierung.
• DB2 Column Store Datenbank DB2 BLU.
• OBIEE Frontend Reporting.
• TDD und DataOps/DevOps für MID Automation und
SAS-DI / Talend Batch-Jobs

Eingesetzte Werkzeuge:
MID Innovator, DB2 BLU, SAS-DI, SAS, OBIEE, Batchverarbeitung, ELT/ETL, DataOps/DevOps, TDD