Apaçi Spark kullanarak Veritabanı göç

oy
0

Ben (örneğin sağlayan kahin gelen cassandra söyleyecek) başka bir soyut veri tabanından göç gerçekleştirmek zorunda ve biz bunun için Apache Kıvılcım Akış kullanmak istiyorum. Bu başka bir db türlerinin basit bir eşleme değil aynı zamanda karmaşık dönüşümler ve doğrulanmaktadır. Tipik bir durum (belki de farklı) veri kümesi bütün değerleri ile bu değerin bir kısmını ilişkiler arayan ile doğrulama / dönüştürülmeden önce RDD bizim bazı verilerin durumunu kontrol etmek için bir (örneğin durumlar için RDD bizim değer, başka kullanıldığı zaman tablo ve biz) bu kontrol ve her olay geçtiği bazı eylemleri gerçekleştirmek istiyoruz.

Bu yüzden sorunu çözmek için RDD paylaşılanları ile Apache Ignite kullanarak bir seçenek var. Biz o zaman biz sadece (bu tür durumlar için bir Geçici Çölleştirici deposu olarak kullanılacak olan) ateşlemek için gidecek bütün göç kapsamından diğer verilerle korelasyon var dış kontrol gerekecektir tür verileri alacaktır zaman, korelasyon kontrol ve tüm gerçekleştirmek bizim değeri ile gerekli eylemler.

Yani smb böyle bir tecrübesi var mı ve muhtemelen tipik ne sorunlar buluşacak. Böyle mimarisini kullanmaya veya bu daha verimli yapılması ve Spark daha iyi tasarıma sahip olabilir olabilir iyi bir uygulama mı?

Oluştur 18/12/2017 saat 09:42
kullanıcı
Diğer dillerde...                            

Cookies help us deliver our services. By using our services, you agree to our use of cookies. Learn more