AI Mistral, startup model sumber terbuka yang berbasis di Paris, baru-baru ini mencuri perhatian dengan inovasi terbarunya, MoE 8x7B. Model bahasa ini dijuluki sebagai "GPT-4 yang Diperkecil" dan telah mendapatkan banyak perhatian dalam komunitas kecerdasan buatan (AI).

MoE 8x7B adalah model bahasa yang menggunakan kerangka Kerja Campuran Para Ahli (MoE) dengan delapan ahli. Setiap ahli memiliki 111B parameter, ditambah dengan 55B parameter perhatian bersama, sehingga menghasilkan total 166B parameter per model. Desain ini menonjolkan peralihan ke arah pemrosesan AI yang lebih efisien dan dapat menghasilkan hasil yang lebih baik.

Hal yang menarik adalah pendekatan yang tidak konvensional dalam merilis MoE 8x7B. AI Mistral merilis model bahasa ini melalui sederhana tautan torrent, berbeda dengan pendekatan tradisional yang sering digunakan oleh perusahaan seperti Google. Hal ini telah memicu perbincangan dan kegembiraan dalam komunitas AI.

MoE sendiri adalah pendekatan arsitektur jaringan saraf yang merepresentasikan perubahan paradigma dalam pemodelan. Meskipun telah ada sejak beberapa tahun yang lalu, MoE mendapatkan perhatian baru-baru ini karena diimplementasikan dalam model bahasa canggih seperti MoE 8x7B.

Keberhasilan AI Mistral juga tidak bisa dipandang sebelah mata. Mereka baru-baru ini mencapai penilaian sebesar $2 miliar setelah putaran pendanaan yang dipimpin oleh Andreessen Horowitz. Putaran pendanaan ini mencetak rekor dengan putaran awal senilai $118 juta, yang merupakan jumlah terbesar dalam sejarah Eropa. Selain itu, AI Mistral juga aktif dalam diskusi seputar regulasi AI di UE dan mengadvokasi pengurangan regulasi dalam AI sumber terbuka.

Pemrosesan MoE juga terbukti efisien dalam melatih dan menerapkan model dengan miliaran parameter. Misalnya, model bahasa ini dapat dilatih dengan ratusan miliar hingga lebih dari satu triliun parameter pada cluster komputasi skala besar. Ini menunjukkan kemampuan AI Mistral dalam mengembangkan model bahasa yang skalabel.

Dengan inovasi terbarunya, AI Mistral telah memperkenalkan MoE 8x7B yang menjanjikan untuk membawa kemajuan dalam pemrosesan bahasa alami dan menghadirkan kecerdasan buatan yang lebih baik. Inovasi ini memberikan dampak yang signifikan bagi pengembangan AI dan menunjukkan komitmen AI Mistral dalam merumuskan solusi baru dalam bidang kecerdasan buatan.