Data 2022 outlook, bagian dua: Realitas byte data mesh
Data Centers

Data 2022 outlook, bagian dua: Realitas byte data mesh

Pengambilan data mesh kami mendapatkan respons yang sedemikian rupa tahun lalu sehingga kami tahu topik tersebut layak mendapatkan pandangannya sendiri pada tahun 2022.

Menurut Google Trends, “data mesh” adalah salah satu topik yang menghancurkan internet pada tahun 2021 — bahkan lebih dari “data lakehouse.” Namun, ini adalah topik yang membahas masalah: Kami membuang semua jenis data ke data lake atau silo lainnya, lalu kami kehilangan jejaknya atau tidak memanfaatkan dan mengaturnya secara memadai.

Setelah beberapa tahun inkubasi, kami sekarang berharap jaringan data akan menarik perhatian serius pertama mereka.

Data mesh adalah ide yang, tergantung pada siapa Anda berbicara, berasal dari Mark Beyer di Gartner atau Zhamak Dehghani di Thoughtworks. Sebagai catatan, keduanya menggunakan istilah yang sama, dan keduanya mengatasi pemutusan yang terjadi saat Anda mengumpulkan banyak sekali data — dan kemudian mencoba mencari tahu siapa pemiliknya dan bagaimana data itu harus diakses dan diatur. Tapi hanya itu yang mereka miliki bersama.

Konsep Gartner lebih tentang pola organisasi metadata dari prinsip-prinsip yang mirip dengan jaringan mesh fisik. Meminjam inspirasi dari Hukum Metcalfe, karena jumlah “simpul” metadata dalam jaring data berkembang biak, metadata menjadi lebih terbentuk sepenuhnya (mungkin ada beberapa bentuk pembelajaran mandiri AI yang terlibat). Dengan penelitian Gartner terjebak di balik paywall, seharusnya tidak mengejutkan bahwa konsep yang dikembangkan di Thoughtworks mengambil alih pembicaraan. Ini didasarkan pada domain yang mengatur sendiri, mempertaruhkan pendekatan siklus hidup untuk memperlakukan data sebagai produk, mengambil kepemilikan atas segala sesuatu mulai dari saluran data hingga tata kelola dan keamanan. Dengan demikian, tim berpikir lebih luas tentang data mereka lebih dari sekadar membangun saluran atau mengatur kumpulan data.

Jaring data mengatasi sejumlah masalah yang valid tentang keterbatasan manajemen top-down atau kepemilikan data. Namun saat ini, sebagai konsep, jaringan data belum sepenuhnya disempurnakan, terutama dalam hal tata kelola swalayan atau federasi. Gagasan jaring data adalah bahwa domain dengan keahlian materi pelajaran yang sesuai harus menjadi orang yang memiliki data dan mengelolanya dari awal hingga akhir. Ini adalah pendekatan bottom-up untuk manajemen data dan tata kelola yang secara teoritis harus meningkatkan akuntabilitas. Kelemahannya adalah, jika tidak dikelola dengan baik, jaringan data dapat memperkuat atau memperbanyak silo data, yang menyebabkan pemborosan, duplikasi, dan pengelolaan serta tata kelola yang tidak konsisten.


Juga: Data mesh: Haruskah Anda mencoba ini di rumah?


Kami tidak percaya bahwa data mesh cukup didefinisikan untuk bekerja lintas-perusahaan, tetapi kami berpikir bahwa data mesh dapat terbukti efektif ketika diterapkan pada skala yang lebih sederhana. Khususnya, ketika diterapkan di seluruh tim yang telah berbagi konteks umum yang mungkin berasal dari sejarah kolaborasi dan/atau memiliki keahlian materi pelajaran yang sama, berdekatan, atau tumpang tindih. Dalam suatu perusahaan, kami dapat memperkirakan kumpulan jaringan data yang muncul di sekitar disiplin yang terfokus, seperti pengalaman pelanggan, manajemen rantai pasokan, pengembangan produk, dan sebagainya.

Hingga saat ini, kumpulan karya yang dipublikasikan pada mesh data umumnya positif, dan kami berharap untuk melihat vendor di seluruh ruang data “mencuci data mesh” produk mereka pada tahun 2022. Kita berbicara tentang database, BI, tata kelola, ELT/data transformasi, katalogisasi data, federasi kueri, dan manajemen siklus hidup informasi. Vendor akan mengeluarkan pesan pemasaran untuk menunjukkan bagaimana penawaran mereka dapat mendukung tim yang sedang membangun jaringan data. Ya, bahkan akan ada konferensi virtual yang terjadi lebih cepat dari yang Anda kira.

Namun perlu diingat bahwa data mesh adalah proses dan pendekatan arsitektur yang mendelegasikan tanggung jawab untuk kumpulan data tertentu ke “domain” yang memiliki keahlian materi pelajaran yang diperlukan. Data mesh bukanlah sebuah teknologi. Mudah-mudahan, vendor tidak akan melompati hiu dan memposisikan penawaran mereka sebagai jaring data produk.

Perasaan kami tentang reaksi yang akan datang berasal dari banyak pesan pribadi yang kami terima ke posting LinkedIn kami yang memberikan penggoda untuk apa yang dipublikasikan di sini. Inti dari pesan tersebut adalah bahwa data mesh dapat memperburuk masalah data silo yang sudah ada di sebagian besar perusahaan. Kami percaya itu adalah kekhawatiran yang sangat valid.

Bahkan jika jaring data sebagai konsep sepenuhnya disempurnakan dan antipeluru, tanda bahwa gagasan tersebut dianggap serius adalah dengan tingkat pengawasan publik. Jadi, fakta bahwa serangan balik terjadi sebenarnya adalah cerminan dari tingkat jerat data telah mencapai titik nyeri yang sebenarnya.

Tapi ada juga kicker lain: data mesh sering dikontraskan dengan data fabric. Data fabric dirancang untuk mempromosikan akses ke data di seluruh penyimpanan logis dan fisik, jadi kami percaya bahwa kontras mesh data dengan data fabric adalah dikotomi yang salah.

Tahan pikiran itu.

Tantangannya adalah definisi dari data fabric cukup kabur. Coba yang ini dari NetApp: “Sebuah data fabric, pada intinya, adalah arsitektur data terintegrasi yang adaptif, fleksibel, dan aman. Dalam banyak hal, data fabric adalah pendekatan strategis baru untuk operasi penyimpanan perusahaan Anda, yang membuka kunci terbaik dari cloud, core, dan edge.” Apakah itu cukup kabur bagi Anda? Untuk tujuan kami, kami hanya akan menyatakan bahwa kain data dimulai dengan backplane metadata umum, jadi ketika tim yang berbeda menggambarkan produk data mereka, mereka semua berbicara dari lembaran musik yang sama.

Berikut satu lagi prediksi yang menyoroti bahwa mesh data dan data fabric sebenarnya memiliki sinergi: Kami berharap bahwa backplanes metadata umum akan menjadi masalah tidur tahun ini, menanggapi kebutuhan untuk memahami semua data — terutama karena terakumulasi di cloud.

Anda mungkin tidak memerlukan jaring data untuk mulai membuat struktur data. Tetapi jika Anda mempertimbangkan untuk memulai inisiatif data mesh, jangan pernah berpikir untuk memulai tanpa beberapa bentuk data fabric.

Ini adalah bagian kedua dari Data Outlook kami untuk tahun 2022. Klik di sini untuk bagian pertama, di mana kami memberikan pendapat kami tentang konvergensi streaming waktu nyata, pembelajaran mesin, dan manajemen data.

Posted By : togel hongkonģ