Cihaz üzerinde yapay zeka (on-device AI), yapay zeka modelinin uzaktaki bir sunucuda değil, doğrudan telefonunuzun, bilgisayarınızın ya da saatinizin kendi işlemcisinde çalışması demektir. Veriniz cihazdan çıkmadan işlenir; bu da daha hızlı yanıt, internet olmadan kullanım ve daha iyi gizlilik anlamına gelir. Karşılığında modeller daha küçük olmak zorundadır ve en ağır işler hâlâ buluta ihtiyaç duyar.
Bulut Tabanlı Yapay Zekadan Farkı
Bulut tabanlı bir yapay zeka hizmetinde yazdığınız soru ya da yüklediğiniz fotoğraf internet üzerinden bir veri merkezine gider, orada güçlü donanımlarda işlenir ve sonuç size geri gönderilir. Cihaz üzerinde çalışan yapay zekada ise bu yolculuk hiç yaşanmaz: hesaplama elinizdeki cihazın içinde yapılır.
İkisi birbirinin rakibi değil, tamamlayıcısıdır. Bulut çok büyük modelleri çalıştırabilir ve güncel bilgiye erişebilir; cihaz ise anında ve çevrimdışı yanıt verir. Yapay zekanın genel çerçevesini merak edenler yapay zeka nedir yazımıza göz atabilir.
Nasıl Çalışır? NPU’nun Rolü
Yapay zeka modelleri çok sayıda matris işlemi gerektirir. Bu işlemleri genel amaçlı işlemciyle (CPU) yapmak mümkündür ama yavaş ve enerji açısından verimsizdir. Bu nedenle güncel yonga setlerinde NPU (sinirsel işlem birimi) adı verilen, yalnızca bu tür hesaplamalar için tasarlanmış bir bölüm bulunur. Apple bu birime Neural Engine adını verir; Qualcomm, MediaTek, Samsung, Google, Intel ve AMD de işlemcilerinde benzer birimlere yer verir. Bu alandaki yarışı yeni nesil yapay zeka çipleri haberimizde aktarmıştık.
Modelin cihaza sığması için de bazı teknikler kullanılır:
- Nicemleme (quantization): Modeldeki sayıların hassasiyeti düşürülerek boyut ve bellek ihtiyacı azaltılır.
- Damıtma (distillation): Büyük bir modelin bilgisi, daha küçük bir modele aktarılır.
- Budama (pruning): Sonuca katkısı az olan bağlantılar çıkarılır.
Ortaya çıkan küçük dil modelleri, büyük bulut modelleri kadar kapsamlı olmasa da özetleme, yeniden yazma ve sınıflandırma gibi belirli işlerde yeterince başarılıdır.
Avantajları
- Gizlilik: Fotoğraflarınız, mesajlarınız ve ses kayıtlarınız cihazdan ayrılmadan işlenebilir.
- Hız: Sunucuya gidip gelme süresi olmadığı için yanıt neredeyse anlıktır; canlı çeviri ya da kamera efektleri gibi işlerde bu fark belirgindir.
- Çevrimdışı çalışma: Uçakta, metroda ya da zayıf bağlantıda özellikler çalışmaya devam eder.
- Maliyet ve süreklilik: Her istek için sunucu kaynağı gerekmediğinden, hizmetin yoğunluğundan ya da kesintisinden etkilenmezsiniz.
Sınırları
- Model boyutu: Cihazın belleği ve depolaması sınırlıdır; bu yüzden cihazdaki modeller daha küçüktür ve karmaşık görevlerde bulut modellerinin gerisinde kalabilir.
- Pil ve ısı: Yoğun yapay zeka işlemleri bataryayı tüketir ve cihazı ısıtabilir.
- Donanım gereksinimi: Yeni özellikler çoğu zaman yalnızca güncel ve üst sınıf cihazlarda sunulur.
- Güncellik: Cihazdaki model internete bağlanmadıkça güncel bilgiye erişemez.
- Hata payı: Küçük modeller de yanlış ya da uydurma yanıt verebilir. Bu konuyu yapay zeka halüsinasyonu yazımızda açıkladık.
Günlük Hayattan Örnekler
Farkında olmadan yıllardır cihaz üzerinde yapay zeka kullanıyorsunuz. Yüz tanıma ile ekran kilidini açmak, klavyenin sözcük tahmini, galeride “köpek” ya da “deniz” yazarak fotoğraf aramak bunun bilinen örnekleridir. Son dönemde eklenenler arasında şunlar sayılabilir:
- Görüşme ve yüz yüze konuşmalarda canlı çeviri
- Ses kayıtlarının yazıya dökülmesi ve özetlenmesi
- Fotoğraflardan nesne silme ve arka plan düzenleme
- Görüntülü aramalarda arka plan bulanıklaştırma ve gürültü azaltma
- Bildirim ve e-postaların özetlenmesi
- Akıllı saatlerde uyku ve egzersiz analizi
Bu özelliklerin hangisinin cihazda, hangisinin bulutta çalıştığı üreticiye ve modele göre değişir.
Hibrit Yaklaşım: Cihaz ve Bulut Birlikte
Üreticilerin çoğu bugün karma bir yol izliyor. Basit ve kişisel işler cihazda çözülür; daha ağır istekler, kullanıcıya bilgi verilerek ya da onayı alınarak buluta gönderilir. Apple, Google ve Samsung’un yapay zeka paketleri bu mantıkla çalışır. Bazı üreticiler, hangi işlemin cihazda kaldığını ayarlar menüsünden görmenize ya da yalnızca cihaz üzerinde işlemeyi seçmenize izin verir. Büyük şirketlerin stratejilerine dair bir bakış için Apple’ın yapay zeka yarışındaki konumunu ele aldığımız yazıyı okuyabilirsiniz.
Cihaz Alırken Nelere Bakmalı?
- Yonga seti: Güncel nesil bir işlemci ve NPU, özelliklerin akıcı çalışmasını belirler.
- Bellek (RAM): Dil modelleri bellekte yer kaplar; yüksek RAM burada avantajdır.
- Yazılım desteği: Yeni yapay zeka özellikleri güncellemelerle gelir; uzun güncelleme süresi önemlidir.
- Dil desteği: Bir özelliğin Türkçe çalışıp çalışmadığını satın almadan önce kontrol edin.
- Gizlilik ayarları: Verinin nerede işlendiğini gösteren seçenekler var mı?
Sohbet tabanlı araçlarla yeni tanışıyorsanız yapay zeka sohbet robotları rehberimiz iyi bir başlangıç olur.
Sık Sorulan Sorular
Cihaz üzerinde yapay zeka tamamen internetsiz çalışır mı?
Cihazda işlenen özellikler internetsiz çalışır. Ancak aynı uygulamadaki bazı işlevler buluta ihtiyaç duyabilir; bu, özellikten özelliğe değişir.
Eski telefonlarda kullanılabilir mi?
Yüz tanıma ya da klavye tahmini gibi hafif işlevler eski cihazlarda da vardır. Üretken yapay zeka özellikleri ise genellikle güncel donanım gerektirir.
Cihazda işlenen veriler kesinlikle güvende mi?
Verinin cihazdan çıkmaması önemli bir güvencedir, ama tek başına yeterli değildir. Cihazın kilidi, güncellemeleri ve uygulama izinleri de güvenliğin parçasıdır.
Kısaca
Cihaz üzerinde yapay zeka, modelin NPU gibi özel donanımlar sayesinde doğrudan elinizdeki cihazda çalışmasıdır; gizlilik, hız ve çevrimdışı kullanım sağlar. Daha küçük modellerle sınırlı olduğu için günümüzde çoğu sistem, hafif işleri cihazda, ağır işleri bulutta yapan karma bir yapı kullanır.
