Microsoft ve Nvidia, yapay zeka modellerinin Windows'ta çalıştırılmasını kolaylaştırıyor - Dünyadan Güncel Teknoloji Haberleri

Microsoft ve Nvidia, yapay zeka modellerinin Windows'ta çalıştırılmasını kolaylaştırıyor - Dünyadan Güncel Teknoloji Haberleri


Microsoft ve Nvidia, geliştiricilerin Windows PC’lerinde yapay zeka modellerini çalıştırıp yapılandırmalarına yardımcı olmak istiyor Ancak bu son güncelleme, TensorRT-LLM’yi GeForce RTX 30 ve 40 Serisi GPU’larla desteklenen, 8 GB veya daha fazla RAM’e sahip bilgisayarlara getiriyor



genel-2

Çarşamba günkü Microsoft Ignite etkinliği sırasında Microsoft, geliştiricilerin yapay zeka modellerine erişip bunları ihtiyaçlarına göre değiştirebilecekleri yeni bir merkez olan Windows AI Studio’yu duyurdu

Windows AI Studio, geliştiricilerin Prompt Flow ve Gradio şablonlarını kullanarak modellerinin performansını test etmelerine olanak tanır

Ek olarak Nvidia, yakında yeni bir paketleyici aracılığıyla TensorRT-LLM’yi OpenAI’nin Sohbet API’si ile uyumlu hale getirecek Nvidia, bir sonraki TensorRT-LLM 6

Nvidia da benzer şekilde, şirketin büyük dil modellerini (LLM’ler) H100 GPU’larda daha verimli çalıştırmanın bir yolu olarak başlangıçta Windows için başlattığı TensorRT-LLM’ye yönelik güncellemeleri açıkladı Aynı zamanda Microsoft’un Phi, Meta’nın Llama 2 ve Mistral gibi çeşitli küçük dil modellerine (SLM’ler) ince ayar yapmak için model yapılandırma kullanıcı arayüzü ve izlenecek yollar ile uçtan uca bir “kılavuzlu çalışma alanı kurulumu” sunar Bu, geliştiricilerin LLM’leri kendi bilgisayarlarında yerel olarak çalıştırmasına olanak tanıyacak ve bu da özel verileri bulutta depolamaktan endişe duyanlar için ideal

Windows AI Studio, geliştiricilerin mevcut Azure AI Studio’dan ve Hugging Face gibi diğer hizmetlerden geliştirme araçlarına ve modellerine erişmesine olanak tanır Bu konseptle, geliştiricilerin yapay zeka gelişimini desteklemek için yalnızca kendi sistemlerine güvenmeleri gerekmiyor; çünkü Microsoft’un bulut sunucularına erişerek cihazlarının yükünü hafifletebiliyorlar 0 sürümünün beş kata kadar daha hızlı çıkarım sağlamanın yanı sıra yeni Mistral 7B ve Nemotron-3 8B modellerine destek sağlayacağını söylüyor

Bunların hepsi Microsoft’un yaratma hedefinin bir parçası bir “hibrit döngü” geliştirme modeliBulutta ve yerel olarak cihazlarda yapay zeka gelişimini mümkün kılması bekleniyor Microsoft, Windows AI Studio’yu “önümüzdeki haftalarda” bir Visual Studio Code uzantısı olarak kullanıma sunacağını söylüyor