Microsoft Fabric'te Materialized Lake View'lar: Lakehouse için kalıcı dönüşümler
Microsoft Fabric'in Materialized Lake View'ları dönüşüm sonuçlarını Delta tablo olarak saklar, her görünümün nasıl yenileneceğine Fabric karar verir ve veri kalitesi kısıtlarını dönüşüm içinde uygular. Yazı, MLV'lerin Bronze, Silver ve Gold katmanlarına nasıl oturduğunu ve hangi sınırları olduğunu anlatıyor. Notebook ve orkestrasyon işlerinden oluşan Fabric hatlarınız varsa okumaya değer.
Kilit noktalar
- MLV'ler SQL ya da PySpark ile tanımlanır ve Lakehouse içinde Delta tablo olarak materialize edilir.
- Fabric, kaynak değişikliklerine göre artımlı, tam ya da atlama yenilemesini otomatik seçer.
- Artımlı yenileme için kaynak tablolarda Delta Change Data Feed açık olmalıdır.
- PySpark ile yazılmış MLV'ler belgelenen yeteneklere göre şu an yalnızca tam yenileme destekler.
- CHECK kısıtı ile ON MISMATCH DROP kullanarak hatalı satırlar alt akışa geçmeden ayıklanabilir.
- Yenileme geçmişi, veri kalitesi metrikleri ve lineage ekranlarından pipeline durumu izlenebilir; _mlv_system tabloları elle değiştirilmemelidir.
Microsoft Fabric'in Materialized Lake View'ları (MLV), Lakehouse içinde birbirine bağlı dönüşüm zincirlerini yönetmeyi kolaylaştırıyor. Dönüşümler SQL ya da PySpark ile bildirimsel olarak tanımlanır; Fabric sonucu bir Delta tablo olarak saklar. Böylece alt akıştaki kullanıcılar sorguyu her seferinde yeniden çalıştırmak yerine hazır veriyi okur.
Fabric her görünüm için yenileme stratejisini kendisi seçer: artımlı işleme, tam yeniden hesaplama ya da ilgili bir değişiklik yoksa atlama. Artımlı yenileme için kaynak tablolarda Delta Change Data Feed açık olmalı; PySpark ile yazılmış görünümler şu an yalnızca tam yenilemeyi destekliyor. CHECK kısıtları ve ON MISMATCH DROP davranışı veri kalitesini dönüşüm katmanında zorunlu kılar; yenileme geçmişi ve soy ağacı Bronze, Silver ve Gold zincirlerini izlemeyi sağlar. Ağır Python işleri ve akış senaryoları için notebook'lar daha uygundur.
Gerçek dünyada kullanımı
- Ham CSV dosyalarını OneLake'ten okuyup Silver tabloya temizleyen, Gold katmanda bölgeye göre ciro hesaplayan bir satış Lakehouse'u.
- Birbirine bağımlı toplamaların doğru sırayla yenilendiği, özel orkestrasyon kodu gerektirmeyen gece raporlama hattı.
- Pozitif tutar veya zorunlu alan kurallarını her notebook'a yazmak yerine dönüşümün içinde merkezi olarak uygulayan veri ekibi.
Neden önemli
Fabric'te notebook ve kopya işlerinden oluşan zincirleriniz varsa MLV'ler bazı orkestrasyon kodunu bildirilen bağımlılık ve yenileme mantığıyla değiştirebilir. Geçiş öncesi PySpark tam yenileme sınırını ve CDF gereksinimini mutlaka kontrol edin.