Birçok sistemden gelen, rapordan önce denetlenen veri
ERP'den, e-ticaret sitesinden, banka hareketlerinden ve tablolardan gelen veriyi tek yerde topluyor, her yüklemede denetliyoruz; böylece raporlar ve sistemler aynı rakamla çalışır.
Kimin için
Aynı rapordan her birimin farklı bir rakam çıkardığı şirketler için.
Neyi çözer
- Biri sabahını, raporu hazırlamak için birkaç sistemden tablo dışa aktararak geçiriyor.
- Finans ve satış, aynı ay için farklı rakamlarla toplantıya geliyor.
- Gece bir yükleme başarısız oldu; pano kimseyi uyarmadan eski veriyi gösterdi.
- Bir rakamın nereden geldiğini, hangi kuralla hesaplandığını kimse bilmiyor.
- Müşterilerin kişisel verileri, kimsenin denetlemediği kopyalarda ve tablolarda dolaşıyor.
Ne yapıyoruz
- Kaynak bağlantıları
- ERP, veritabanları, API'ler, e-ticaret sitesi ve tablolar otomatik olarak, belirli aralıklarla okunur.
- Artımlı yükleme
- Yalnız son yüklemeden bu yana değişen veri alınır; kaynak sistemlere fazladan yük binmez.
- Kodla yazılan hesap kuralları
- Göstergeler, tablolara dağılmış formüllerle değil, gözden geçirilmiş ve test edilmiş kodla hesaplanır.
- Kalite testleri
- Her yüklemede mükerrer kayıt, boş alan ve toplamlar kontrol edilir; tutmayan veri ilerlemez.
- Yükleme izleme
- Bir yükleme başarısız olur ya da gecikirse, biri eskimiş bir panoyu açmadan önce alarm gelir.
- Kişisel veri denetimi
- LGPD gözetilerek yalnız gereken alanlar alınır; erişim kısıtlanır, hassas alanlar maskelenir.
- Her rakamın kökeni
- Her göstergeyi üreten kaynaklar ve kurallar kayıt altında tutulur.
Neler teslim edilir
- Canlıda çalışan veri hatları; zamanlanmış yükleme ve yeniden işleme dahil
- Rapora hazır tablolar ve veri sözlüğü
- Her yüklemede çalışan kalite testleri
- Başarısız ve geciken yüklemeler için alarmlar
- Kaynakları, kuralları ve her verinin sorumlusunu anlatan belgeler
Nasıl ilerliyoruz
Envanter
Hangi kaynaklar var, her rakamı kim kullanıyor, kişisel veri nerede duruyor.
Tanımlar
Göstergelerin hesap kuralları, onları kullanan birimlerle birlikte belirlenir.
İlk kaynak
Bir kaynak ve bir rapor için bağlantı, dönüşüm ve testler baştan sona kurulur.
Genişleme
Diğer kaynaklar tek tek eklenir ve bugünkü rakamlarla karşılaştırılarak doğrulanır.
İşletim
Alarmlar, yükleme takibi ve bir kaynak sistem değiştiğinde gereken ayarlar.
Teknoloji örnekleri
- Python
- dbt
- Airflow
- Debezium
- Kafka
- PostgreSQL
- BigQuery
Brezilya'da ele aldıklarımız
- LGPD
- Brezilya Kişisel Verilerin Korunması Kanunu (13.709/2018 sayılı Kanun).
İlgili hizmetler
Sık sorulan sorular
Panoları ve raporları da siz mi hazırlıyorsunuz?
Odak noktamız veri katmanı: şirketinizin kullandığı BI aracına hazır, düzenlenmiş ve denetlenmiş tablolar. Panoların hazırlanması da kapsama girebilir; bu, envanter aşamasında konuşulur.
Bir veri ambarına ihtiyacımız var mı?
Veri hacmine ve kaç kaynak olduğuna bağlı. Kaynak azsa ana sistemden ayrı bir PostgreSQL veritabanı yetebilir; hacim ya da sorgular gerektirdiğinde buluttaki bir veri ambarı devreye girer.
Kişisel verinin veri hattına girmesi gerekir mi?
Yalnız bir rapor gerçekten ihtiyaç duyuyorsa. LGPD'yi gözeterek gerekmeyeni dışarıda bırakır, kalanı maskeler ya da erişimini kısıtlarız. Her kullanımın hukuki dayanağına veri koruma sorumlunuz karar verir.
Yüklemeler kaynak sistemleri yorar mı?
Kötü kurulursa yorar. Bu yüzden yalnız değişen veriyi, mümkünse bir kopyadan ya da veritabanının değişiklik kaydından ve anlaşılan saatlerde okuruz.
Balkan'a yazın
Projeniz için yazın