Google’ın en son açık modeli PaliGemma, bugün NVIDIA NIM çıkarım mikro hizmetleri desteğiyle piyasaya sürüldü. https://ai.google.dev/gemma/docs/paligemma
Üretken yapay zekaya güç veren büyük dil modelleri yoğun bir inovasyon sürecinden geçiyor. Metin, görüntü ve ses gibi birden fazla veri türünü işleyebilen modeller giderek yaygınlaşıyor. Ancak, bu modelleri oluşturmak ve dağıtmak hala zorlu bir süreç. Geliştiriciler, kendi kullanım durumlarına en uygun modeli belirlemek için modelleri hızlı bir şekilde deneyimlemenin ve değerlendirmenin bir yolunu bulmalı, ardından modeli yalnızca uygun maliyetli olmakla kalmayıp aynı zamanda en iyi performansı sunacak şekilde optimize etmelidir. Geliştiricilerin dünya standartlarında performansa sahip yapay zeka destekli uygulamalar oluşturmasını kolaylaştırmak için NVIDIA ve Google bugün Google I/O ’24’te üç yeni işbirliği duyurdu. Gemma + NIM NVIDIA, TensorRT-LLM’yi kullanarak Google ile birlikte, etkinlikte tanıttığı iki yeni modeli optimize etmek için çalışıyor: Gemma 2 ve PaliGemma. Bu modeller, Gemini modellerini oluşturmak için kullanılan aynı araştırma ve teknolojiyle oluşturuldu ve her biri belirli bir alana odaklanıyor: https://developer.nvidia.com/blog/nvidia-tensorrt-llm-revs-up-inference-for-google-gemma/
Gemma 2, çok çeşitli kullanım durumları için yeni nesil Gemma modelleridir ve çığır açan performans ve verimlilik için tasarlanmış yepyeni bir mimariye sahiptir.
PaliGemma, PaLI-3’ten ilham alan açık bir görsel dil modelidir (VLM). SigLIP görsel modeli ve Gemma dil modeli dahil olmak üzere açık bileşenler üzerine inşa edilen PaliGemma, görüntü ve kısa video başlıkları, görsel soru yanıtlama, görüntülerdeki metni anlama, nesne algılama ve nesne segmentasyonu gibi görsel-dil görevleri için tasarlanmıştır. PaliGemma, çok çeşitli görsel-dil görevlerinde sınıfının en iyisi ince ayar performansı için tasarlanmıştır ve ayrıca NVIDIA JAX-Toolbox tarafından da desteklenmektedir.
Gemma 2 ve PaliGemma, yapay zeka modellerinin ölçekte dağıtımını basitleştiren NVIDIA AI Enterprise yazılım platformunun bir parçası olan NVIDIA NIM çıkarım mikro hizmetleri ile sunulacak. İki yeni model için NIM desteği, bugün PaliGemma ile başlayarak API kataloğundan edinilebilir; yakında NVIDIA NGC ve GitHub’da konteyner olarak yayınlanacaklar.
Hızlandırılmış Veri Analitiğini Colab’a Getirme Google ayrıca, açık kaynaklı bir GPU veri çerçevesi kitaplığı olan RAPIDS cuDF’nin artık veri bilimcileri için en popüler geliştirici platformlarından biri olan Google Colab’da varsayılan olarak desteklendiğini duyurdu. Artık Google Colab’ın aylık 10 milyon kullanıcısı, NVIDIA L4 Tensor Core GPU’ları kullanarak pandas tabanlı Python iş akışlarını sıfır kod değişikliğiyle 50 kata kadar hızlandırabiliyor.
RAPIDS cuDF ile Google Colab kullanan geliştiriciler, keşifsel analiz ve üretim veri işlem hatlarını hızlandırabilirler. Pandas, sezgisel API’si nedeniyle dünyanın en popüler veri işleme araçlarından biri olsa da, uygulamalar veri boyutları büyüdükçe genellikle zorlanırlar. 5-10 GB veriyle bile, birçok basit işlem bir CPU’da tamamlanması dakikalar sürebilir, bu da keşifsel analizi ve üretim veri işlem hatlarını yavaşlatır.
RAPIDS cuDF, bu sorunu mümkün olduğunda pandas kodunu GPU’larda sorunsuz bir şekilde hızlandırarak ve mümkün olmadığında CPU-pandas’a geri dönerek çözmek için tasarlanmıştır. RAPIDS cuDF’nin Colab’da varsayılan olarak kullanılabilir olmasıyla, her yerdeki tüm geliştiriciler hızlandırılmış veri analitiğinden yararlanabilir.
Yapay Zekayı Yola Çıkarma NVIDIA RTX grafikleri kullanan AI PC’leri kullanarak Google ve NVIDIA, uygulama geliştiricilerinin yeni Gemma modelleri ailesi gibi üretken yapay zeka modellerini web ve mobil uygulamalarına kolayca entegre etmelerini ve özel içerik sunmalarını, anlamsal arama yapmalarını ve soruları yanıtlamalarını sağlayan bir Firebase Genkit işbirliği de duyurdu. Geliştiriciler, çalışmalarını Google Cloud altyapısına sorunsuz bir şekilde taşımadan önce yerel RTX GPU’ları kullanarak çalışma akışlarını başlatabilirler.
Bunu daha da kolaylaştırmak için geliştiriciler, mobil geliştiricilerin uygulamalarını oluşturmak için yaygın olarak kullandıkları bir programlama dili olan JavaScript kullanarak Genkit ile uygulamalar oluşturabilirler.
İnovasyon Ritmi Devam Ediyor NVIDIA ve Google Cloud, yapay zekayı ileriye taşımak için birçok alanda işbirliği yapıyor. Yaklaşan Grace Blackwell destekli DGX Cloud platformu ve JAX framework desteğinden, NVIDIA NeMo framework’ünü Google Kubernetes Engine’e getirmeye kadar, şirketlerin tam yığın ortaklığı, müşterilerin Google Cloud’da NVIDIA teknolojilerini kullanarak AI ile neler yapılabilecek olanaklarını genişletiyor.
Kaynak: https://blogs.nvidia.com/blog/gemma-nim-google-deepmind/?ncid=so-link-494833