Büyük Veri Odaklı SEO Platformu

Devralınan ürün canlı ortamda aktif, ticari kullanımı olan ve işleyen bir çekirdeğe sahipti; fakat işlevsel kapsamı bugünkü ölçeğinden uzaktı. Aksi takdirde, oturmuş iş mantığını tamamen silip sıfırdan yeniden inşa etme zorunluluğu ortaya çıkardı.

Sıfırdan yeniden yazım yerine, kesintisiz işletim modelini benimsedik. Tüm genişletmeler canlı sistem çalışır durumdayken mimariye dahil edildi. Çekirdek sistem muhafaza edilerek işlev alanı 2017’den itibaren sürekli ölçeklendi: Temel alt sistemler yeniden yapılandırıldı ve mevcut işlevler genişletildi.

Teknik web sitesi crawler altyapısı bütünüyle Batunet bünyesinde mimarize edilmiştir. Web sitelerini alt sayfalarıyla kapsayıcı biçimde tarar, teknik denetimleri tamamlar ve verileri tarihsel olarak arşivler; bu sayede zaman içindeki mimari ve yapısal değişiklikler şeffaf biçimde izlenir. Otomatik tarama süreçleri belirlenen periyotlarda arka planda yürütülür.

Ölçekli web sitelerinde gerçekleştirilen tek bir tarama işlemi on binlerce URL kapsayabilir. Sürecin doğası gereği işleme tek bir proseste yürütülemez; görevler kuyruk mimarisi üzerinden worker’lara dağıtılır ve tarama önceliklerini yöneten özel bir orkestrasyon katmanı kullanılır. Veri analizi, raporlama sistemleri ve kullanıcı arayüzü bütünüyle Batunet bünyesinde geliştirilmiştir.

Milyarlarca kayıt ve terabayt düzeyinde bir veri hacmi bir performans göstergesi değil, bir tasarım koşuludur. Bu büyüklükten itibaren verinin nerede duracağını iş mantığı değil, hangi sorgunun hangi sürede hâlâ yanıtlanabilmesi gerektiği belirler.

Sonuç her yerde aynıdır: İstek döngüsü içinde yapılması gerekmeyen iş, orada yapılmaz. Bu nedenle worker'lar ve kuyruklar üzerinden dağıtık ve asenkron işleme, önbellekleme, bir arama indeksi, kendi iş yönetimi ve büyük dışa aktarmaların asenkron üretimi sonradan eklenen parçalar değil, tasarımın bir parçasıdır.

Yapay zeka işlev alanı tamamen Batunet'te geliştirildi; yanında duran ayrı bir ürün olarak değil, zaten var olan bir sistemin içine yerleştirilmiş olarak. Buna yapay zeka destekli içerik işlevleri, yapay zeka sistemlerindeki görünürlük analizi, yapay zeka yanıtlarının ve kaynaklarının analizi, prompt işleme, rakip analizi ve otomatik öneriler dahildir.

Zor olan kısım model değildi. Zor olan, entegrasyondu: mevcut veriler, mevcut yetkiler, mevcut iş akışları ve ticari bir üründe yer alabilecek kadar tekrarlanabilir olması gereken sonuçlar.