TB
statt GB Wir planen Plattformen für die Datenmenge von morgen, nicht für das, was heute in eine Tabelle passt.
Kommunen als Quelle Dokumente aller Gemeinden in Deutschland erfassen, jede mit eigener Website und eigenem Format.
Mio.
Wetterdaten Zeitreihen über Jahrzehnte als Grundlage für Wachstumsprognosen im Wald.
1
Ontologie, bundesweit Zig Millionen Datensätze aus gewachsenen Beständen mit gemeinsamen Begriffen und Beziehungen.
Unsere Haltung

Wie wir über Daten denken.

Werkzeuge wechseln alle paar Jahre. Die Prinzipien, nach denen wir Datenprojekte bauen, bleiben.

  1. 01

    Skalierung entscheidet sich am ersten Tag.

    Was mit einem Gigabyte funktioniert, bricht bei einem Terabyte. Partitionierung, inkrementelle Verarbeitung und Kosten pro Lauf legen wir fest, bevor die erste Zeile Code entsteht, nicht erst, wenn der nächtliche Job morgens noch läuft.

  2. 02

    Rohdaten sind unantastbar.

    Was hereinkommt, speichern wir unverändert und versioniert. Alles danach ist abgeleitet und lässt sich jederzeit neu berechnen. Ein Fehler in Stufe vier kostet dann einen Backfill, keine Daten.

  3. 03

    Erst die Bedeutung, dann die Tabelle.

    Bevor wir Schemas bauen, klären wir die Begriffe: Was ist ein Standort, ein Vorgang, ein Bestand? Eine saubere Ontologie ist die Sprache, auf die sich Fachbereich und Technik einigen. Ohne sie wird jede Tabelle zur Interpretation.

  4. 04

    Pipelines sind Software.

    Versioniert, getestet, im Code-Review, mit CI/CD und Infrastruktur als Code. Kein Notebook, das nur auf einem Rechner läuft, und kein Skript, das niemand mehr anfassen will.

  5. 05

    Qualität wird gemessen, nicht gehofft.

    Datenverträge an jeder Schnittstelle, Prüfungen in jeder Stufe, Herkunft für jeden Wert. Wenn eine Quelle ihr Format ändert, merkt es die Pipeline, nicht das Dashboard.

  6. 06

    Das Modell kommt zum Schluss.

    KI und Prognosen sind so gut wie die Daten davor. Sprachmodelle und Machine Learning setzen wir als Stufe in der Pipeline ein, mit Vorfiltern, Validierung und messbaren Kosten.

Aus der Praxis

Drei Größenordnungen, eine Arbeitsweise.

Ein Ausschnitt unserer Arbeit: unterschiedliche Domänen, dieselben Prinzipien.

  1. 01 Public Sector · bundesweit Zig Mio. Datensätze

    Eine Ontologie für einen deutschlandweiten Datensatz

    Gewachsene Bestände aus vielen Quellen, uneinheitliche Strukturen, keine gemeinsamen Begriffe. Wir modellieren Entitäten und ihre Beziehungen, machen Dubletten, Lücken und Widersprüche sichtbar und entwickeln eine Ontologie, auf der Fachlichkeit, Architektur und Umsetzung aufsetzen.

    • Entity Resolution über Quellen hinweg
    • Ontologie als gemeinsame Sprache von Fachbereich und Technik
    • Reproduzierbare Analysen statt Einmal-Auswertung
    Mehr dazu
  2. 02 Öffentliche Dokumente · alle Kommunen ~11.000 Quellen

    Jedes Dokument jeder Kommune in Deutschland

    Rund 11.000 Gemeinden, jede mit eigener Website, eigenem Aufbau und eigenen Formaten, vom HTML-Text bis zum gescannten PDF. Die Pipeline findet neue Dokumente, liest sie, ordnet sie ein und macht sie strukturiert durchsuchbar. Sie verarbeitet nur, was sich geändert hat.

    • Verteiltes Crawling mit Änderungserkennung
    • OCR und Klassifikation für jedes Format
    • Vorfilter, bevor Kosten für Sprachmodelle anfallen
  3. 03 Forstwirtschaft · Klima Mio. Wetterdaten

    Wachstumsprognosen für Wälder aus Millionen Wetterdaten

    Bäume wachsen in Jahrzehnten, nicht in Sprints. Für Prognosen zum Waldwachstum führen wir Millionen Wetterdaten mit Standort- und Bestandsdaten zusammen, über Raum und Zeit, und machen daraus Merkmale, auf denen Modelle rechnen. Kommen neue Daten, rechnet sich die Prognose neu.

    • Zeitreihen und Geodaten in einem Datenmodell
    • Merkmale für Wachstumsmodelle, nachvollziehbar abgeleitet
    • Prognosen, die mit jedem Datenstand aktuell bleiben
    Mehr dazu
Software-Engineering trifft Data Engineering

Wir bauen Datenplattformen wie Produkte.

Viele Datenprojekte scheitern nicht an der Menge, sondern am Handwerk. Der Unterschied zeigt sich im Alltag.

  • Häufig Notebook auf einem Rechner Bei uns Versionierter Code mit Tests und Code-Review
  • Häufig Volle Neuladung jede Nacht Bei uns Inkrementell: nur verarbeiten, was neu ist
  • Häufig Manueller Lauf, wenn jemand daran denkt Bei uns Orchestriert, idempotent, beliebig oft wiederholbar
  • Häufig Quelle ändert ihr Format, Dashboard bricht Bei uns Datenverträge melden Änderungen, bevor sie schaden
  • Häufig Neu berechnen? Lieber nicht. Bei uns Backfill über Jahre als normaler Vorgang
  • Häufig Woher kommt dieser Wert? Bei uns Herkunft für jeden Wert nachvollziehbar
  • Häufig Kosten fallen auf der Rechnung auf Bei uns Kosten pro Lauf und pro Terabyte im Blick
Architektur

Moderne Patterns, bewusst gewählt.

Wir laufen keinem Hype hinterher, aber wir kennen den Stand der Technik. So ist eine Datenplattform bei uns typischerweise geschnitten.

  1. 01

    Erfassen

    Batch, Streams und Änderungen direkt an der Quelle. Inkrementell und idempotent, damit jeder Lauf gefahrlos wiederholt werden kann.

    Change Data CaptureEvent StreamsCrawlingInkrementelle Loads
  2. 02

    Speichern

    Rohdaten unverändert, spaltenbasiert und partitioniert. Offene Tabellenformate statt Herstellerbindung, Speicher und Rechenleistung getrennt skalierbar.

    LakehouseOffene TabellenformatePartitionierungTime Travel
  3. 03

    Veredeln

    Von roh über bereinigt zu fachlich: jede Stufe mit einer klaren Aufgabe, eigenen Tests und dokumentierten Verträgen.

    Medallion-ArchitekturDatenverträgeSchema-EvolutionData Tests
  4. 04

    Modellieren

    Begriffe, Entitäten und Beziehungen als Ontologie. Daraus abgeleitet: Wissensgraph, dimensionale Modelle und einheitliche Kennzahlen.

    OntologieEntity ResolutionWissensgraphSemantische Schicht
  5. 05

    Anreichern

    Sprachmodelle, OCR, Geodaten und Machine Learning als Stufen der Pipeline, mit messbarer Qualität und planbaren Kosten.

    LLM-ExtraktionEmbeddingsGeodatenFeature Engineering
  6. 06

    Betreiben

    Orchestrierung, Beobachtbarkeit und Herkunft über die ganze Plattform. DSGVO-konform, auf Wunsch vollständig in der EU-Cloud.

    OrchestrierungLineageObservabilityInfrastruktur als Code
Data Engineering bei alm
  1. 01

    Worum es geht

    Daten sind selten das Problem. Das Problem ist, was mit ihnen passiert, wenn sie wachsen: Jobs, die nachts nicht mehr fertig werden, Tabellen, die jeder anders liest, und Zahlen, deren Herkunft niemand mehr kennt. Data Engineering bei alm heißt, diese Probleme gar nicht erst entstehen zu lassen.

    Wir bauen Datenpipelines, ETL- und ELT-Strecken, Ontologien und Datenplattformen für Dokumente, Zeitreihen, Register und Telemetrie. Von der Erfassung über OCR und Extraktion bis zu Analysen, Prognosen und KI-Anwendungen, die auf den Daten aufsetzen.

  2. 02

    Für wen wir das tun

    Für Konzerne, Public Sector und Mittelstand, deren Datenbestände über die Größe hinausgewachsen sind, die eine Tabelle oder ein einzelnes Skript noch tragen kann. Typisch sind viele Quellen ohne gemeinsame Begriffe, Volumen im Terabyte-Bereich und der Wunsch, aus Daten Prognosen oder KI-Funktionen zu machen.

    Wir arbeiten als eigenes Team oder fügen uns in Ihr bestehendes Team ein, etwa im Datenprojekt für den Bund über T-Systems.

  3. 03

    Ablauf

    Datenprojekte gehen wir in drei Phasen an. Jede endet mit einem Ergebnis, auf dessen Basis Sie entscheiden, ob und wie es weitergeht.

    1. Beratung und Architektur, ab einer Woche: Quellen, Volumen, Wachstum, Begriffe und spätere Nutzer klären. Ergebnis ist eine Entscheidungsvorlage mit Zielarchitektur, Optionen und Aufwandsschätzung.
    2. Prototyping und Prestudy, typisch 2–6 Wochen: An echten Daten prüfen, was trägt: Extraktion, Datenqualität, Modellierung, Kosten pro Lauf. Ergebnis sind ein lauffähiger Prototyp, eine Risikobewertung und ein belastbarer Plan.
    3. Engineering und Betrieb, Monate bis Jahre: Die Plattform bauen, in den Betrieb bringen und so übergeben, dass Ihr Team sie weiterführen kann. Dokumentiert, getestet, beobachtbar.

    Die Phasen im Überblick finden Sie unter Leistungen.

  4. 04

    Werkzeuge

    Werkzeuge wählen wir nach Problem, nicht nach Vorliebe. In Datenprojekten setzen wir unter anderem Python, SQL und TypeScript ein, OCR mit AWS Textract, Sprachmodelle für Extraktion und Klassifikation, Vektorsuche für große Dokumentenbestände sowie Container und Cloud-Dienste von AWS und Azure, auf Wunsch vollständig in der EU.

    Entscheidend ist nicht das Werkzeug, sondern ob die Plattform in drei Jahren noch verständlich, bezahlbar und erweiterbar ist.

Typische Fragen zu Datenprojekten

Ab wann lohnt sich eine richtige Datenplattform?

Sobald mehrere Quellen zusammenkommen, Daten regelmäßig nachgeladen werden oder Ergebnisse in Entscheidungen, Prognosen oder KI-Funktionen fließen. Spätestens wenn niemand mehr sicher sagen kann, woher eine Zahl kommt, kostet das Fehlen einer Plattform mehr als ihr Aufbau. Wir starten oft klein, aber mit einer Architektur, die nicht beim ersten Terabyte neu gebaut werden muss.

Wie stellen Sie sicher, dass eine Pipeline auch bei Terabytes noch funktioniert?

Indem wir Skalierung von Anfang an entwerfen statt nachträglich optimieren. Rohdaten werden partitioniert und spaltenbasiert gespeichert, Verarbeitung läuft inkrementell und idempotent, Speicher und Rechenleistung skalieren getrennt. In der Prestudy messen wir an echten Daten, was ein Lauf kostet und wie sich das bei zehnfachem Volumen verhält.

Warum eine Ontologie, wenn es doch schon ein Datenmodell gibt?

Ein Datenmodell beschreibt, wie Daten gespeichert sind. Eine Ontologie beschreibt, was sie bedeuten: welche Begriffe es gibt und wie sie zusammenhängen. Gerade bei vielen gewachsenen Quellen ist sie die gemeinsame Sprache, auf die sich Fachbereich und Technik einigen. Im Projekt für den Bund ist dieses Datenverständnis die Grundlage für alles Weitere.

Können Sie gescannte PDFs und uneinheitliche Dokumente verarbeiten?

Ja. OCR macht gescannte Dokumente maschinenlesbar, Klassifikation ordnet sie ein, regelbasierte Vorfilter entfernen offensichtliche Falschtreffer und Sprachmodelle extrahieren die relevanten Informationen strukturiert. So arbeitet etwa die Crawl-, OCR- und LLM-Pipeline für die Energiewirtschaft, die seit der Übergabe eigenständig im Betrieb läuft.

Wie halten Sie Kosten für Rechenleistung und Sprachmodelle im Rahmen?

Mit drei Hebeln: Wir verarbeiten nur, was sich geändert hat, wir filtern vor teuren Stufen günstig vor, und wir machen Kosten pro Lauf und pro Terabyte sichtbar. Sprachmodelle werten nur aus, was die Vorfilter übrig lassen. So bleibt nachvollziehbar, wo Aufwand entsteht.

Arbeiten Sie mit unserem bestehenden Stack?

Ja. Wir bringen Prinzipien mit, keine Produktbindung. Ob Ihre Daten in einer bestehenden Cloud-Umgebung, einem Data Warehouse oder lokal liegen: Wir bauen darauf auf und empfehlen Änderungen nur dort, wo sie messbar etwas verbessern.

Läuft die Plattform nach dem Projekt ohne Sie weiter?

Das ist das Ziel. Wir übergeben dokumentierte, getestete und beobachtbare Systeme, die Ihr Team weiterführen kann. Die Pipeline für Blue Elephant Energy läuft seit Projektabschluss eigenständig im Betrieb, ohne uns.

Ihre Daten wachsen schneller als Ihre Pipeline?

Erzählen Sie uns, welche Quellen Sie haben und was daraus werden soll. Wir sagen Ihnen ehrlich, wie wir es angehen würden.