Perusahaan rintisan AI milik Elon Musk, xAI, baru-baru ini mengumumkan bahwa “Colossus,” komputer super pelatihan AI (kecerdasan buatan) terkuat di dunia, kini telah online. Berbasis di Memphis, Tennessee, komputer super AI baru ini dibangun hanya dalam waktu empat bulan (122 hari).
Klaster pelatihan xAI baru dibangun menggunakan 100.000 GPU benchmark NVIDIA Hopper H100, komponen yang sangat diminati untuk melatih model AI baru. Model ini dirancang untuk melatih generasi berikutnya dari model bahasa besar (LLM) xAI, Grok.
Perusahaan juga berencana untuk menggandakan jumlah GPU menjadi 200.000 dalam beberapa bulan dengan menambahkan 50.000 chip seri H200 NVIDIA yang baru dan lebih canggih, yang menawarkan memori komputasi yang lebih tinggi.
Lebih jauh lagi, GPU Hopper H200 patokan baru NVIDIA memiliki memori HBM3E yang lebih cepat hingga 141 GB, sedangkan H100 memiliki memori HBM3 hingga 80 GB.
Akhir pekan ini, @xAI Tim membawa kelompok pelatihan Colossus 100k H100 kami secara online. Dari awal hingga akhir, semuanya dilakukan dalam waktu 122 hari.
Colossus adalah sistem pelatihan AI terkuat di dunia. Selain itu, ukurannya akan berlipat ganda menjadi 200 ribu (50 ribu H200) dalam beberapa bulan.
Bagus sekali…
—Elon Musk (@elonmusk) 2 Sept 2024
“Akhir pekan ini, tim xAI meluncurkan klaster pelatihan Colossus 100K H100 kami secara daring. Dari awal hingga akhir, semuanya selesai dalam waktu 122 hari. Colossus adalah sistem pelatihan AI terkuat di dunia. Selain itu, ukurannya akan berlipat ganda menjadi 200K (50K H200) dalam beberapa bulan. Kerja yang luar biasa oleh tim, NVIDIA, dan banyak mitra/pemasok kami,” cuit Musk di X (sebelumnya Twitter).
“Menyenangkan melihat Colossus, #superkomputer GPU terbesar di dunia, hadir dalam waktu singkat. Colossus didukung oleh platform #acceleratedcomputing dari @nvidia, yang menghadirkan kinerja yang luar biasa dengan peningkatan luar biasa dalam #energyefficiency. Selamat kepada seluruh tim!” tulis akun X NVIDIA Data Center di platformnya.
GPU NVIDIA berharga sekitar $30.000, yang menunjukkan bahwa Musk menghabiskan sedikitnya $3 miliar untuk membangun superkomputer baru, sebuah fasilitas yang juga memerlukan sumber daya listrik dan pendinginan yang besar.
Saat ini, Grok 2 milik Musk, model AI generasi kedua xAI yang dilatih menggunakan 15.000 GPU H100, tersedia secara eksklusif untuk pelanggan X premium dan X premium plus dengan kemampuan pembuatan gambar dan teks. Ia mengatakan perusahaan tersebut berharap dapat merilis model AI generasi ketiga xAI, Grok-3, pada bulan Desember.
