Datenintensive SEO-Plattform
Seit 2017 verantwortet Batunet die technische Weiterentwicklung einer kommerziellen, datenintensiven SEO-Plattform. Übernommen wurde ein bereits produktives Produkt mit deutlich kleinerem Funktionsumfang. Zentrale Teilsysteme wurden seitdem von Batunet neu entwickelt und bestehende Bereiche kontinuierlich erweitert.
Der Fall in einer Minute.
- Rolle
- Technische Weiterentwicklung der Plattform seit 2017 — Konzeption, Architektur, Umsetzung und Betrieb.
- Ausgangslage
- Ein produktives, kommerziell genutztes Produkt mit deutlich kleinerem Funktionsumfang.
- Produktform
- Kommerzielles SaaS-Produkt.
- Datenbestand
- Milliarden Datensätze, Datenbestand im Terabyte-Bereich.
- Vollständig von Batunet entwickelt
- Technischer Website-Crawler, Reporting-System, KI-Funktionsbereich.
- Verarbeitung
- Verteilte und asynchrone Verarbeitung über Worker und Queues sowie eigene Job-Steuerung.
- Technisches Umfeld
- PHP, Symfony, MySQL/MariaDB, Redis, RabbitMQ, Elasticsearch/OpenSearch, JavaScript, TypeScript, Docker, Linux/Nginx.
- Arbeitsteilung
- Der Betreiber formuliert fachlichen Bedarf und Produktziel. Die technische Konzeption entsteht überwiegend bei Batunet.
Weiterentwickeln statt neu anfangen.
Das Produkt lief, als wir es übernahmen. Es war produktiv, kommerziell genutzt und hatte einen funktionierenden Kern — bei einem Funktionsumfang, der deutlich kleiner war als der heutige. Wer in dieser Lage neu anfängt, wirft eingespielte Fachlichkeit weg, um sie anschließend erneut zu bauen.
Also haben wir nicht neu angefangen. Jede Erweiterung ging in das laufende System, während es in Betrieb war. Der Kern ist geblieben, der Funktionsumfang ist seit 2017 kontinuierlich gewachsen: zentrale Teilsysteme wurden neu entwickelt, bestehende Bereiche erweitert.
Was hier entstanden ist.
Drei Teilsysteme sind vollständig bei Batunet entstanden, ein weiteres nahezu vollständig. Bestehende Bereiche haben wir übernommen und deutlich erweitert.
- Vollständig von Batunet entwickelt
- Technischer Website-Crawler, Reporting-System, KI-Funktionsbereich
- Nahezu vollständig von Batunet entwickelt
- Export-System
- Deutlich erweitert
- Ranking-Monitoring, Keyword-Analyse, Backlink-Analyse, Wettbewerbsanalyse, Content-Funktionen, Monitoring, Dashboards, Benutzer- und Rechtesystem
Der Crawler.
Der technische Website-Crawler ist vollständig bei Batunet entstanden. Er erfasst komplette Websites samt Unterseiten, führt technische Prüfungen aus und hält die Ergebnisse historisch, sodass Veränderungen über Zeit sichtbar bleiben. Crawls laufen automatisiert und in regelmäßigen Abständen.
Ein Lauf über eine große Website summiert sich auf Abertausende URLs. Das geht nicht in einem Prozess. Die Verarbeitung ist auf Worker verteilt, die ihre Aufgaben aus Queues ziehen; darüber liegt eine eigene Job-Steuerung, die Läufe priorisiert. Auswertung, Reporting und die Oberfläche darüber sind ebenfalls bei Batunet entstanden.
Wenn Datenmenge zur Architekturfrage wird.
Milliarden Datensätze und ein Datenbestand im Terabyte-Bereich sind keine Kennzahl, sondern eine Vorgabe. Ab dieser Größe entscheidet nicht die Fachlichkeit, wo Daten liegen, sondern die Frage, welche Abfrage in welcher Zeit noch beantwortbar sein muss.
Die Konsequenz ist überall dieselbe: Arbeit, die nicht im Anfrage-Zyklus passieren muss, passiert dort auch nicht. Verteilte und asynchrone Verarbeitung über Worker und Queues, Caching, ein Suchindex, eine eigene Job-Steuerung und die asynchrone Erzeugung großer Exporte sind deshalb Teil des Entwurfs und nicht Zusätze.
Reporting und Export.
Reports sind individuell konfigurierbar, werden regelmäßig und automatisch erstellt und ziehen Daten über mehrere Module und Datenquellen zusammen. Ausgegeben wird als XLSX oder CSV, auch für große Datenexporte.
Nichts davon passiert im Anfrage-Zyklus: die Erzeugung läuft asynchron, die Bereitstellung erfolgt anschließend automatisch. Das Reporting-System ist vollständig bei Batunet entstanden, das Export-System nahezu vollständig.
Externe Datenquellen.
Die Plattform integriert zahlreiche externe Schnittstellen und Datenquellen. Sie ist damit von Systemen abhängig, die sich ändern, ohne zu fragen. Schnittstellenarbeit ist hier kein Nebenprodukt, sondern laufender Teil der Produktentwicklung: Anbindung, Fehlerbehandlung, Versionswechsel, laufende technische Pflege.
Welche Anbieter und Modelle dahinterstehen, nennen wir nicht — weder für die Datenquellen noch für die KI-Funktionen.
KI in einem gewachsenen Produkt.
Der KI-Funktionsbereich ist vollständig bei Batunet entstanden — nicht als eigenes Produkt daneben, sondern eingebettet in ein System, das es vorher schon gab. Dazu gehören KI-gestützte Content-Funktionen, Sichtbarkeitsanalyse in KI-Systemen, die Analyse von KI-Antworten und ihrer Quellen, Prompt-Verarbeitung, Wettbewerbsanalyse und automatisierte Empfehlungen.
Der schwierige Teil war nicht das Modell. Er war die Einbettung: bestehende Daten, bestehende Rechte, bestehende Abläufe — und Ergebnisse, die reproduzierbar genug sein müssen, um in einem kommerziellen Produkt zu stehen.
Eingesetzte Technologien
Der Stack war beim Übernahmezeitpunkt gesetzt und deckt sich in den Grundzügen mit dem, womit wir ohnehin bauen.
Woran dieser Fall anschließt.
Fragen zu diesem Fall
Übernehmen Sie bestehende, produktive Software?
Ja. Dieser Fall ist genau das: ein laufendes, kommerziell genutztes Produkt, das wir 2017 übernommen und seitdem ohne Neubau weiterentwickelt haben.
Wie gehen Sie mit großen Datenmengen um?
Der Datenbestand dieser Plattform liegt im Terabyte-Bereich bei Milliarden Datensätzen. Ab dieser Größe ist die Ablage keine Konfigurationsfrage mehr, sondern Teil des Entwurfs: verteilte und asynchrone Verarbeitung, Caching, ein Suchindex und eine eigene Job-Steuerung.
Entwickeln Sie nur die Technik oder auch die technische Konzeption?
Beides. Der Betreiber formuliert fachlichen Bedarf und Produktziel; die technische Konzeption und die Umsetzung entstehen überwiegend bei Batunet.
Warum steht hier kein Kundenname?
Der Fall konzentriert sich bewusst auf die Engineering-Leistung. Die Kundenidentität ist dafür nicht erforderlich. Namentliche Referenzen besprechen wir im direkten Gespräch.
Setzen Sie Ihren Engineering-Weg fort.
Verwandte Konzepte, Entscheidungen, Playbooks und Standpunkte — als zusammenhängender Pfad, nicht als Linkliste.
Technologien
Sprechen wir über Ihr Vorhaben.
Kein Vertrieb. Ein direktes Gespräch mit der Geschäftsführung.
