Data Engineering

  • ETL
  • Datenmodellierung
  • Datenaufbereitung

Projekte aus diesem Bereich

  • Python Entwickler, Frontend und Backend
    2023 Universität Köln (CECAD Imaging Facility)

    Entwicklung eines Exporters für OMERO, eine Datenbank für biomedizinische Bilddaten

    Aufgaben:
    • Erweiterung des Open Source Kommandozeilentools omero-cli-transfer, um Forschungsdaten aus der OMERO Datenbank in ARC Repositories zu übertragen.
    • Entwicklung einer Mapping-Spezifikation für die Übertragung von OMERO-Projekten in ARC-Repositorien.
    • Erweiterung des Web Frontends von OMERO, um ARC Metadaten anzuzeigen und Datenexport zu steuern.
    • Dokumentation

    Werkzeuge:
    PythonOMEROPostgresDjangoGitGithub ActionsDockerPytest

  • Python Entwickler / Data Engineer
    2023 DekaBank

    Frontend und Backend Entwicklung einer Web Applikation für Portfolio Management.

    Aufgaben:
    • Frontend und Backend Entwicklung mit Python und Javascript
    • Design und Implementierung einer klassenbasierten Softwarearchitektur im Backend
    • Design des Datemodells (hybrider Ansatz, relational und Json basiert), Implementierung von Test-, Staging- and Produktionsdatenbank
    • Dokumentation
    • Setup einer Continuous Integration Pipeline (Paketinstallation, Unit Tests, Pep8 checks, automatisierter Build der Dokumnetation)
    • Arbeit innerhalb eines interdisziplinären Teams aus Finanzexperten, Softwareentwicklern und Analysten

    Werkzeuge:
    PythonPlotly DashPydanticMypySphinxGitlabPandasMssqlPytestJavascript

  • Python Entwickler / Data Engineer
    2022 DekaBank

    Frontend und Backend Entwicklung einr Business Intelligence Web App.

    Aufgaben:
    • Frontend und Backend Entwicklung
    • Entwicklung von Lösungen zum Zwischenspeichern von Daten zur schnellen Bereitstellung einer fragmentierten Datenbasis.
    • Handling und effektive Bereitstellung von Tabellen im Big Data Umfeld.
    • Entwicklung einer Business Intelligence Web App
    • Weiterentwicklung und Refaktorierung von Prototyp Skripten zu Produktionscode (Unit Tests, Continuous Integration...)
    • Arbeit innerhalb eines interdisziplinären Teams aus Finanzexperten, Softwareentwicklern und Analysten

    Werkzeuge:
    PythonGitlabPydanticMypyPlotly DashFlaskPandasMssqlMLflowPytestParquetJavascript

  • Data Scientist and Data Engineer
    2021 Mitteständisches Großhandels- und Logistikunternehmen

    Entwicklung von KI basierten Vorhersagemodellen

    Design und Implementierung eines KI basierten Modells zur Vorhersage von Verkaufszahlen und Produktprovisionierung.

    Aufgaben:
    • Konzeption eines Deep Learning Modells zur Vorhersage von Verkaufszahlen
    • Entwicklung von Datenmodellen und ETL Prozessen zur Vorverarbeitung der Rohdaten
    • Implementierung eines automatisierten Vorhersage Service basierend auf KI Modellen

    Werkzeuge:
    TensorflowPostgresMS SQL ServerPythonSqlalchemyAlembicDockerdocker-composegit

  • Data Engineer / Projektleitung
    2020 Forschungseinrichtung

    Konzeption und Implementierung einer Postgres Datenbank zum Datenmanagement einer Automationsanlage

    Eine Automationsanlage produziert Sensordaten verschiedener Art, die zusammen mit diversen Metadaten in mathematische Vorhersagemodelle eingespeist werden. Messdaten und Metadaten sollen zentral in einer SQL Datenbank gespeichert werden. Das Projekt erfordert engen Austausch mit Mitarbeitern die die Automationsanlage betreiben und die Daten auswerten. Das interdiszipläre Team besteht aus Biologen, Chemikern, Technikern und Datenanalysten und Softwareentwicklern.

    Aufgaben:
    • Projektmanagement
    • Entwicklung des Datenmodells in zahlreichen Workshops.
    • Erarbeitung der Import Spezifikationen in enger Zusammenarbeit mit den künftigen Nutzern.
    • Implementierung des Modells in Python/Sqlalchemy
    • Aufsetzen einer Postgres Testdatenbank mit docker-compose und Gitlab-CI
    • mplementierung von Importer Tools in Python.

    Werkzeuge:
    PostgresPythonSqlalchemyDockerdocker-composeGitlab-CI