Menjalankan beban kerja AI akan hadir di mesin virtual di dekat Anda, didukung oleh GPU dan Kubernetes
Processors

Menjalankan beban kerja AI akan hadir di mesin virtual di dekat Anda, didukung oleh GPU dan Kubernetes

holger-link-724884-unsplash.jpg

Jalankan:AI menawarkan lapisan virtualisasi untuk menjalankan beban kerja AI pada

Foto oleh Holger Link di Unsplash

Jalankan: AI mengambil AI Anda dan menjalankannya di tumpukan perangkat lunak super cepat di masa depan. Itulah tajuk utama artikel 2019 kami di Run:AI, yang baru saja keluar dari stealth. Meskipun kami menganggapnya tetap akurat, pendekatan Run:AI yang tidak konvensional telah mengalami pertumbuhan pesat sejak saat itu.

Run:AI, yang menyebut dirinya sebagai “platform orkestrasi AI”, hari ini mengumumkan bahwa mereka telah mengumpulkan $75 juta dalam putaran Seri C yang dipimpin oleh Tiger Global Management dan Insight Partners, yang memimpin putaran Seri B sebelumnya. Putaran ini mencakup partisipasi investor tambahan yang ada, Mitra TLV dan S Capital VC, sehingga total dana yang terkumpul hingga saat ini menjadi $ 118 juta.

Kami bertemu dengan Omri Geller, CEO dan salah satu pendiri Run:AI, untuk membahas chip dan infrastruktur AI, kemajuan Run:AI, dan interaksi di antara mereka.

Juga: H2O.ai menghadirkan NLP bertenaga AI grandmaster ke perusahaan

Chip AI memang keren, tetapi GPU Nvidia berkuasa

Run:AI menawarkan lapisan perangkat lunak yang disebut Atlas untuk mempercepat eksekusi beban kerja machine learning, di lokasi dan di cloud. Pada dasarnya, Atlas berfungsi sebagai mesin virtual untuk beban kerja AI: ia mengabstraksi dan menyederhanakan akses ke perangkat keras yang mendasarinya.

Kedengarannya seperti solusi yang tidak lazim, mengingat kebijaksanaan konvensional untuk beban kerja AI mengharuskan tetap sedekat mungkin dengan logam untuk memeras sebanyak mungkin kinerja dari chip AI. Namun, beberapa manfaat datang dari memiliki sesuatu seperti Atlas memediasi akses ke perangkat keras yang mendasarinya.

Di satu sisi, ini adalah dilema kuno dalam TI, dimainkan sekali lagi. Pada hari-hari awal pengembangan perangkat lunak, dilemanya adalah apakah memprogram menggunakan bahasa tingkat rendah seperti Assembly atau C atau bahasa tingkat tinggi seperti Java. Akses tingkat rendah menawarkan kinerja yang lebih baik, tetapi sisi sebaliknya adalah kompleksitas.

Lapisan virtualisasi untuk perangkat keras yang digunakan untuk beban kerja AI menawarkan manfaat yang sama dalam hal abstraksi dan kemudahan penggunaan, ditambah manfaat lainnya yang berasal dari penyederhanaan akses ke perangkat keras. Misalnya, kemampuan untuk menawarkan analitik tentang pemanfaatan sumber daya atau kemampuan untuk mengoptimalkan beban kerja untuk penerapan pada perangkat keras yang paling sesuai.

Namun, kami harus mengakui bahwa meskipun Run:AI telah membuat banyak kemajuan sejak 2019, itu tidak berkembang persis seperti yang kami kira. Atau seperti yang dipikirkan Geller sendiri, dalam hal ini. Kembali pada tahun 2019, kami melihat Run:AI sebagai cara untuk mengabstraksi banyak chip AI yang berbeda.

Awalnya, Run:AI mendukung GPU Nvidia, dengan tujuan untuk menambahkan dukungan untuk TPU Google serta chip AI lainnya di rilis berikutnya. Sejak itu, ada banyak waktu; namun, Run:AI Atlas masih hanya mendukung GPU Nvidia. Karena platform telah berkembang dengan cara signifikan lainnya, ini jelas merupakan pilihan strategis.

Alasannya, menurut Geller, sederhana: traksi pasar. GPU Nvidia pada umumnya adalah apa yang masih digunakan klien Run:AI untuk beban kerja AI mereka. Run:AI sendiri melihat banyak daya tarik, dengan klien seperti Wayve dan London Medical Imaging dan AI Center for Value Based Healthcare, di seluruh vertikal seperti keuangan, otomotif, perawatan kesehatan, dan game.

Saat ini, ada banyak pilihan selain GPU Nvidia untuk beban kerja AI. Pilihannya berkisar dari solusi vendor cloud yang dikembangkan sendiri, seperti TPU Google atau Graviton dan Trainium AWS, hingga vendor independen seperti Blaize, Cerebras, GraphCore atau SambaNova, instans berbasis Habana Intel di AWS, atau bahkan menggunakan CPU.

Namun, pengalaman Geller dari lapangan adalah bahwa organisasi tidak hanya mencari cara yang hemat biaya untuk melatih dan menerapkan model. Mereka juga mencari cara sederhana untuk berinteraksi dengan perangkat keras, dan ini adalah alasan utama mengapa Nvidia masih mendominasi. Dengan kata lain, semuanya ada di tumpukan perangkat lunak. Hal ini sesuai dengan apa yang diidentifikasi oleh banyak analis.

Namun, kami bertanya-tanya apakah janji kinerja superior dapat memikat organisasi atau apakah pesaing Nvidia telah berhasil menutup celah dalam hal evolusi dan adopsi tumpukan perangkat lunak mereka.

Pengalaman Geller adalah bahwa sementara chip AI khusus dapat menarik organisasi yang memiliki beban kerja dengan profil berorientasi kinerja tertentu, adopsi arus utama mereka tetap rendah. Apa yang Run:AI lihat, bagaimanapun, adalah lebih banyak permintaan untuk GPU yang bukan Nvidia. Baik itu AMD MI200 atau Intel Ponte Vecchio, Geller melihat organisasi ingin memanfaatkan lebih banyak GPU dalam waktu dekat.

Kubernetes untuk AI

Dominasi Nvidia bukan satu-satunya alasan mengapa pengembangan produk Run:AI menjadi seperti itu. Tren lain yang membentuk penawaran Run:AI adalah munculnya Kubernetes. Geller berpikir bahwa Kubernetes adalah salah satu bagian terpenting dalam membangun tumpukan AI, karena container banyak digunakan dalam ilmu data — serta di luarnya.

Namun, Geller menambahkan, Kubernetes tidak dibuat untuk menjalankan beban kerja berkinerja tinggi pada chip AI — Kubernetes dibuat untuk menjalankan layanan pada CPU klasik. Oleh karena itu, ada banyak hal yang hilang di Kubernetes untuk menjalankan aplikasi secara efisien menggunakan container.

Butuh Run:AI beberapa saat untuk mengidentifikasi itu. Namun, begitu mereka melakukannya, keputusan mereka adalah membangun perangkat lunak mereka sebagai plugin untuk Kubernetes guna menciptakan apa yang disebut Geller sebagai “Kubernetes untuk AI”. Untuk menahan diri dari membuat pilihan khusus vendor, arsitektur Kubernetes Run: AI tetap kompatibel secara luas. Geller mengatakan perusahaan telah bermitra dengan semua vendor Kubernetes, dan pengguna dapat menggunakan Run:AI terlepas dari platform Kubernetes yang mereka gunakan.

Seiring waktu, Run:AI telah membangun ekosistem mitra yang terkenal, termasuk Dell, HP Enterprise, Nvidia, NetApp, dan OpenShift. Selain itu, platform Atlas juga telah berevolusi baik lebar maupun dalam. Terutama, Run:AI sekarang mendukung beban kerja pelatihan dan inferensi. Karena inferensi biasanya menghasilkan sebagian besar biaya operasional AI dalam produksi, ini sangat penting.

Selain itu, Run:AI Atlas kini terintegrasi dengan sejumlah kerangka kerja pembelajaran mesin, alat MLOps, dan penawaran cloud publik. Ini termasuk Weights & Biases, TensorFlow, PyTorch, PyCharm, Visual Studio dan JupyterHub, serta Nvidia Triton Inference Server dan NGC, Seldon, AirFlow, KubeFlow dan MLflow, masing-masing.

Juga: Rendered.ai meluncurkan Platform sebagai Layanan untuk membuat data sintetis untuk melatih model AI

Bahkan kerangka kerja yang tidak terintegrasi sebelumnya dapat diintegrasikan dengan relatif mudah, selama mereka berjalan dalam wadah di atas Kubernetes, kata Geller. Sejauh platform cloud berjalan, Run:AI bekerja dengan semua 3 penyedia cloud utama (AWS, Google Cloud, dan Microsoft Azure), serta di lokasi. Geller mencatat bahwa cloud hybrid adalah apa yang mereka lihat pada penerapan pelanggan.

61e95e54543a7c75fc680245-atlas-full-icons-p-800.png

Jalankan: AI melihat infrastruktur AI sebagai tumpukan lapisan

Jalankan: AI

Meskipun realitas pasar Run:AI beroperasi dengan mengubah beberapa perencanaan awal, membuat perusahaan mengejar lebih banyak opsi operasionalisasi daripada memperluas dukungan untuk lebih banyak chip AI, itu tidak berarti tidak ada kemajuan di bidang teknis.

Jalankan: Pencapaian teknis utama AI disebut dengan pembagian GPU fraksional, penyediaan GPU tipis, dan pertukaran pekerjaan. Berbagi GPU pecahan memungkinkan menjalankan banyak container pada satu GPU sambil menjaga setiap container tetap terisolasi dan tanpa perubahan kode atau penalti kinerja.

Apa yang dilakukan VMware untuk CPU, Run:AI lakukan untuk GPU, dalam ekosistem container di bawah Kubernetes, tanpa hypervisor, seperti yang dikatakan Geller. Sedangkan untuk thin provisioning dan job swapping, hal tersebut memungkinkan platform untuk mengidentifikasi aplikasi mana yang tidak menggunakan sumber daya yang dialokasikan pada setiap titik waktu, dan secara dinamis mengalokasikan kembali sumber daya tersebut sesuai kebutuhan.

Khususnya, Run:AI termasuk dalam laporan Forrester Wave AI Infrastructure yang diterbitkan pada Q4 2021. Perusahaan ini memegang posisi unik di antara vendor Infrastruktur AI, yang mencakup vendor cloud, Nvidia, dan OEM GPU.

Semuanya, kata Geller, adalah mitra Run:AI, karena mereka mewakili infrastruktur untuk menjalankan aplikasi. Geller melihat ini sebagai tumpukan, dengan perangkat keras di lapisan bawah, lapisan perantara yang bertindak sebagai antarmuka untuk ilmuwan data dan insinyur pembelajaran mesin, dan aplikasi AI di lapisan atas.

Run:AI melihat traksi yang baik, meningkatkan Pendapatan Berulang Tahunannya sebesar 9x dan staf sebesar 3x pada tahun 2021. Perusahaan berencana untuk menggunakan investasi tersebut untuk lebih mengembangkan tim globalnya dan juga akan mempertimbangkan akuisisi strategis saat mengembangkan dan meningkatkan platformnya.

Posted By : hongkong togel