01.ai‘nin kurucusu ve başkanı Kai-Fu Lee , bu hafta şirketinin gelişmiş AI modellerinden Yi-Lightning modelinde 2.000 Adet GPU kullanarak sadece 3 milyon dolar maliyetle eğittiğini söyledi.
OpenAI GPT-3 modelini eğitmek için 10.000 Adet Nvidia A100 GPU kullandığını biliyoruz
GPT-4 ve GPT-4o modellerini eğitmek için ise Nvidia H100 işlemci kullandığına inanılıyor .
GPT-4’ün eğitim maliyeti 80 ile 100 milyon dolar arasında
GPT-5‘in eğitim maliyeti ise 1 milyar doları bulacağı konuşuluyor.
Durum böyleyken 01.ai’nin kurucusu ve başkanı Kai-Fu Lee 2.000 Adet GPU’yu 3 milyon dolara nasıl mal etti diye sorabilirsiniz?
Kai-Fu Lee; Yi-Lightning modelinde kullandıkları bu 2.000 Adet GPU’nun marka ve modelini açıklamadı
Ama hesaplara bakacak olursan bu GPU’ların Nvidia’ya ait olmadığını söyleyebiliriz.
Çünkü Bir Nvidia H100 GPU’nun maliyeti yaklaşık 30.000 dolar, iki bin GPU’nun maliyeti ise 6 milyon dolar ediyor yani yarı yarıya, diğer bir konu ise Çinli şirketlerin hala ABD tarafından engelleniyor ve Nvidia gibi şirketlerden on binlerce gelişmiş AI GPU’suna sınırlı erişim ve alım imkanının olmamasını da eklersek farklı bir marka olduğu kesin diyebiliriz.
Ancak buna rağmen tablodan da anlaşılacağı üzere ortada bir başarı var.
Kai-Fu Lee, “Sadece 2000 GPU’muz olduğunda, ekibin bunları nasıl kullanacağını bulması gerekiyor,” dedi. “CEO olarak, bunları nasıl önceliklendireceğimizi bulmak gerekiyor ve sonra sadece eğitimi hızlandırmakla kalmayıp, aynı zamanda çıkarımı da hızlandırmamız gerekiyor.
Bu nedenle, çıkarımımız, bir hesaplama sorununu bir bellek sorununa dönüştürmeye çalışarak, çok katmanlı bir önbellek oluşturarak, belirli bir çıkarım motoru oluşturarak vb. tüm süreçteki darboğazları bularak tasarlanıyor.
Ancak sonuç olarak, çıkarım maliyetimiz milyon token başına 10 senttir.”
Kai-Fu Lee açıklamasında: “Silikon Vadisi’ndeki arkadaşlarımı şaşırtan şey sadece performansımız değil, aynı zamanda modeli sadece 3 milyon dolarla eğitmiş olmamız.” dedi
AS Bilişim