Wir denken Datenprojekte vom Ende her: Was muss in fünf Jahren noch stimmen, wenn das Volumen zehnmal so groß ist? Daraus entstehen Pipelines, Ontologien und Datenplattformen, entwickelt mit der Sorgfalt guter Software und mit den Patterns, die moderne Datenplattformen tragen.
Werkzeuge wechseln alle paar Jahre. Die Prinzipien, nach denen wir Datenprojekte bauen, bleiben.
Was mit einem Gigabyte funktioniert, bricht bei einem Terabyte. Partitionierung, inkrementelle Verarbeitung und Kosten pro Lauf legen wir fest, bevor die erste Zeile Code entsteht, nicht erst, wenn der nächtliche Job morgens noch läuft.
Was hereinkommt, speichern wir unverändert und versioniert. Alles danach ist abgeleitet und lässt sich jederzeit neu berechnen. Ein Fehler in Stufe vier kostet dann einen Backfill, keine Daten.
Bevor wir Schemas bauen, klären wir die Begriffe: Was ist ein Standort, ein Vorgang, ein Bestand? Eine saubere Ontologie ist die Sprache, auf die sich Fachbereich und Technik einigen. Ohne sie wird jede Tabelle zur Interpretation.
Versioniert, getestet, im Code-Review, mit CI/CD und Infrastruktur als Code. Kein Notebook, das nur auf einem Rechner läuft, und kein Skript, das niemand mehr anfassen will.
Datenverträge an jeder Schnittstelle, Prüfungen in jeder Stufe, Herkunft für jeden Wert. Wenn eine Quelle ihr Format ändert, merkt es die Pipeline, nicht das Dashboard.
KI und Prognosen sind so gut wie die Daten davor. Sprachmodelle und Machine Learning setzen wir als Stufe in der Pipeline ein, mit Vorfiltern, Validierung und messbaren Kosten.
Viele Datenprojekte scheitern nicht an der Menge, sondern am Handwerk. Der Unterschied zeigt sich im Alltag.
Wir laufen keinem Hype hinterher, aber wir kennen den Stand der Technik. So ist eine Datenplattform bei uns typischerweise geschnitten.
Batch, Streams und Änderungen direkt an der Quelle. Inkrementell und idempotent, damit jeder Lauf gefahrlos wiederholt werden kann.
Change Data CaptureEvent StreamsCrawlingInkrementelle LoadsRohdaten unverändert, spaltenbasiert und partitioniert. Offene Tabellenformate statt Herstellerbindung, Speicher und Rechenleistung getrennt skalierbar.
LakehouseOffene TabellenformatePartitionierungTime TravelVon roh über bereinigt zu fachlich: jede Stufe mit einer klaren Aufgabe, eigenen Tests und dokumentierten Verträgen.
Medallion-ArchitekturDatenverträgeSchema-EvolutionData TestsBegriffe, Entitäten und Beziehungen als Ontologie. Daraus abgeleitet: Wissensgraph, dimensionale Modelle und einheitliche Kennzahlen.
OntologieEntity ResolutionWissensgraphSemantische SchichtSprachmodelle, OCR, Geodaten und Machine Learning als Stufen der Pipeline, mit messbarer Qualität und planbaren Kosten.
LLM-ExtraktionEmbeddingsGeodatenFeature EngineeringOrchestrierung, Beobachtbarkeit und Herkunft über die ganze Plattform. DSGVO-konform, auf Wunsch vollständig in der EU-Cloud.
OrchestrierungLineageObservabilityInfrastruktur als CodeDaten sind selten das Problem. Das Problem ist, was mit ihnen passiert, wenn sie wachsen: Jobs, die nachts nicht mehr fertig werden, Tabellen, die jeder anders liest, und Zahlen, deren Herkunft niemand mehr kennt. Data Engineering bei alm heißt, diese Probleme gar nicht erst entstehen zu lassen.
Wir bauen Datenpipelines, ETL- und ELT-Strecken, Ontologien und Datenplattformen für Dokumente, Zeitreihen, Register und Telemetrie. Von der Erfassung über OCR und Extraktion bis zu Analysen, Prognosen und KI-Anwendungen, die auf den Daten aufsetzen.
Für Konzerne, Public Sector und Mittelstand, deren Datenbestände über die Größe hinausgewachsen sind, die eine Tabelle oder ein einzelnes Skript noch tragen kann. Typisch sind viele Quellen ohne gemeinsame Begriffe, Volumen im Terabyte-Bereich und der Wunsch, aus Daten Prognosen oder KI-Funktionen zu machen.
Wir arbeiten als eigenes Team oder fügen uns in Ihr bestehendes Team ein, etwa im Datenprojekt für den Bund über T-Systems.
Datenprojekte gehen wir in drei Phasen an. Jede endet mit einem Ergebnis, auf dessen Basis Sie entscheiden, ob und wie es weitergeht.
Die Phasen im Überblick finden Sie unter Leistungen.
Werkzeuge wählen wir nach Problem, nicht nach Vorliebe. In Datenprojekten setzen wir unter anderem Python, SQL und TypeScript ein, OCR mit AWS Textract, Sprachmodelle für Extraktion und Klassifikation, Vektorsuche für große Dokumentenbestände sowie Container und Cloud-Dienste von AWS und Azure, auf Wunsch vollständig in der EU.
Entscheidend ist nicht das Werkzeug, sondern ob die Plattform in drei Jahren noch verständlich, bezahlbar und erweiterbar ist.
Sobald mehrere Quellen zusammenkommen, Daten regelmäßig nachgeladen werden oder Ergebnisse in Entscheidungen, Prognosen oder KI-Funktionen fließen. Spätestens wenn niemand mehr sicher sagen kann, woher eine Zahl kommt, kostet das Fehlen einer Plattform mehr als ihr Aufbau. Wir starten oft klein, aber mit einer Architektur, die nicht beim ersten Terabyte neu gebaut werden muss.
Indem wir Skalierung von Anfang an entwerfen statt nachträglich optimieren. Rohdaten werden partitioniert und spaltenbasiert gespeichert, Verarbeitung läuft inkrementell und idempotent, Speicher und Rechenleistung skalieren getrennt. In der Prestudy messen wir an echten Daten, was ein Lauf kostet und wie sich das bei zehnfachem Volumen verhält.
Ein Datenmodell beschreibt, wie Daten gespeichert sind. Eine Ontologie beschreibt, was sie bedeuten: welche Begriffe es gibt und wie sie zusammenhängen. Gerade bei vielen gewachsenen Quellen ist sie die gemeinsame Sprache, auf die sich Fachbereich und Technik einigen. Im Projekt für den Bund ist dieses Datenverständnis die Grundlage für alles Weitere.
Ja. OCR macht gescannte Dokumente maschinenlesbar, Klassifikation ordnet sie ein, regelbasierte Vorfilter entfernen offensichtliche Falschtreffer und Sprachmodelle extrahieren die relevanten Informationen strukturiert. So arbeitet etwa die Crawl-, OCR- und LLM-Pipeline für die Energiewirtschaft, die seit der Übergabe eigenständig im Betrieb läuft.
Mit drei Hebeln: Wir verarbeiten nur, was sich geändert hat, wir filtern vor teuren Stufen günstig vor, und wir machen Kosten pro Lauf und pro Terabyte sichtbar. Sprachmodelle werten nur aus, was die Vorfilter übrig lassen. So bleibt nachvollziehbar, wo Aufwand entsteht.
Ja. Wir bringen Prinzipien mit, keine Produktbindung. Ob Ihre Daten in einer bestehenden Cloud-Umgebung, einem Data Warehouse oder lokal liegen: Wir bauen darauf auf und empfehlen Änderungen nur dort, wo sie messbar etwas verbessern.
Das ist das Ziel. Wir übergeben dokumentierte, getestete und beobachtbare Systeme, die Ihr Team weiterführen kann. Die Pipeline für Blue Elephant Energy läuft seit Projektabschluss eigenständig im Betrieb, ohne uns.
Erzählen Sie uns, welche Quellen Sie haben und was daraus werden soll. Wir sagen Ihnen ehrlich, wie wir es angehen würden.