Microsoft dan Nvidia Ubah Laptop Jadi Server AI Pribadi

NEW YORK – Microsoft dan Nvidia membawa AI dari pusat data ke PC, dengan laptop yang mampu menjalankan model dengan lebih dari 120 miliar parameter langsung di mesin dan hanya menggunakan cloud bila diperlukan.

Selama bertahun-tahun, sebagian besar pengalaman generatif AI bergantung pada pusat data yang sangat besar.

https://www.youtube.com/watch?v=w1vND

Pengguna mengirimkan permintaan melalui laptop mereka, tetapi proses yang berat ditangani di server jarak jauh.

Microsoft dan Nvidia berupaya mengubah model tersebut dengan generasi PC Windows yang cukup canggih untuk menjalankan AI langsung di perangkat.
.
Microsoft dan Nvidia baru saja memperkenalkan langkah baru dalam strategi AI mereka untuk komputer pribadi, yang berfokus pada memindahkan lebih banyak tugas AI dari cloud untuk dijalankan langsung di PC Windows.

Pada sebuah acara di San Francisco pada tanggal 7 Oktober, para pemimpin dari kedua perusahaan tersebut menggambarkan masa depan Windows sebagai model “kecerdasan hibrida” – kecerdasan hibrida antara perangkat dan komputasi awan.

Ini berbeda dengan cara banyak orang saat ini menggunakan chatbot.

Ketika seseorang mengajukan pertanyaan kepada AI melalui peramban, permintaan tersebut biasanya dikirim melalui internet ke pusat data. GPU di sana melakukan penalaran, dan kemudian hasilnya dikirim kembali ke layar.

Dengan AI lokal, sebagian atau seluruh proses tersebut dapat berlangsung langsung di laptop.

Sebagai contoh, pengguna yang menginginkan AI untuk mencari melalui ribuan dokumen internal, menganalisis sekumpulan kode sumber, mengubah ucapan menjadi teks, atau membuat gambar dapat meminta tugas tersebut dilakukan menggunakan perangkat keras mesin tanpa harus mengirimkan semua data secara eksternal.

Microsoft tidak percaya bahwa komputasi awan akan menghilang.

Arah baru yang diambil adalah membiarkan Windows menentukan tugas mana yang cocok untuk perangkat dan tugas mana yang membutuhkan daya komputasi pusat data.

Tugas kecil yang membutuhkan respons cepat atau melibatkan data sensitif dapat ditangani secara lokal. Ketika tuntutan menjadi terlalu besar bagi perangkat keras komputer, sistem dapat beralih ke model berbasis cloud.

Inilah mengapa Microsoft menyebut model ini sebagai kecerdasan hibrida.