Büyük veri (big data), geleneksel veritabanları ve tek bir bilgisayarla saklanamayacak, işlenemeyecek kadar büyük, hızlı akan ve çeşitli veri kümelerini ve bu verilerden anlam çıkarmak için kullanılan yöntemleri ifade eder. Kavramın özü yalnızca verinin çokluğu değildir; asıl mesele, bu kadar veriyi makul sürede işleyip karar vermeye yarayan bilgiye dönüştürebilmektir.
Büyük veriyi tanımlayan özellikler: V’ler
Büyük veri genellikle birkaç temel özellikle tanımlanır:
- Hacim (Volume): Verinin miktarı. Tek bir sunucunun diskine sığmayan, çok sayıda makineye dağıtılması gereken ölçek.
- Hız (Velocity): Verinin üretilme ve işlenme hızı. Sensör okumaları, ödeme işlemleri ve tıklama kayıtları kesintisiz akar.
- Çeşitlilik (Variety): Verinin biçimi. Tablolar, metinler, görüntüler, ses kayıtları, konum bilgileri ve sistem günlükleri bir arada bulunur.
- Doğruluk (Veracity): Verinin güvenilirliği. Eksik, hatalı ya da çelişkili kayıtlar yanlış sonuçlara götürür.
- Değer (Value): Veriden elde edilen fayda. İşe yarar bir sonuca dönüşmeyen veri yalnızca maliyettir.
Büyük veri nereden gelir?
- Sosyal medya paylaşımları, aramalar ve video izleme kayıtları
- E-ticaret sitelerindeki gezinme, sepet ve satın alma hareketleri
- Banka ve ödeme sistemlerindeki işlemler
- Akıllı telefonlar, giyilebilir cihazlar ve araçlardaki sensörler
- Fabrikalardaki makineler, enerji sayaçları ve şehir altyapısı
- Uydu görüntüleri, hava durumu istasyonları ve bilimsel deneyler
Yapılandırılmış ve yapılandırılmamış veri
Yapılandırılmış veri, satır ve sütunlara düzgünce oturan veridir: müşteri tablosu, sipariş listesi, stok kaydı gibi. Yapılandırılmamış veri ise belirli bir kalıba girmez: e-postalar, fotoğraflar, videolar, ses kayıtları ve serbest metinler. İkisinin arasında, kendi içinde bir düzeni olan ama tabloya birebir oturmayan yarı yapılandırılmış veriler bulunur. Üretilen verinin büyük bölümü yapılandırılmamış türdendir ve büyük veri araçlarının ortaya çıkış nedeni de büyük ölçüde budur.
Büyük veri nasıl işlenir?
Temel fikir, işi tek bir güçlü makineye yüklemek yerine çok sayıda sıradan makineye bölmektir. Süreç kabaca şu aşamalardan oluşur:
- Toplama: Veri, farklı kaynaklardan toplu hâlde ya da akış olarak alınır.
- Depolama: Ham veri, dağıtık dosya sistemlerinde ya da bulut tabanlı nesne depolarında tutulur. Ham verinin olduğu gibi saklandığı yapıya veri gölü, düzenlenmiş ve analize hazır verinin tutulduğu yapıya veri ambarı denir.
- İşleme: Veri temizlenir, birleştirilir ve dönüştürülür. Hadoop ve Spark gibi açık kaynaklı çerçeveler ile bulut sağlayıcılarının yönetilen hizmetleri bu amaçla kullanılır.
- Analiz: İstatistik, sorgulama ve makine öğrenmesi yöntemleriyle örüntüler aranır.
- Görselleştirme: Sonuçlar, karar vericilerin anlayabileceği panolar ve raporlar hâline getirilir.
İşleme iki biçimde yapılır: verinin belirli aralıklarla topluca işlendiği yığın işleme ve verinin geldiği anda işlendiği akış işleme. Dolandırıcılık tespiti gibi anlık karar gerektiren işlerde ikincisi şarttır.
Kullanım alanları
- Perakende ve e-ticaret: Öneri sistemleri, stok ve talep tahmini. Bu yaklaşımı müşteri deneyiminde yapay zeka ve pazarlama stratejileri yazısında bulabilirsiniz.
- Finans: Şüpheli işlemlerin tespiti ve risk değerlendirmesi.
- Sağlık: Salgın takibi, görüntü analizi ve araştırma verilerinin incelenmesi.
- Ulaşım: Canlı trafik tahmini, rota iyileştirme ve filo yönetimi.
- Üretim: Makinelerin arıza vermeden önce bakıma alınmasını sağlayan kestirimci bakım.
- Enerji ve çevre: Tüketim tahmini ve kaynak yönetimi; örnekler için yapay zeka ve sürdürülebilirlik yazısına bakılabilir.
Büyük veri ve yapay zeka ilişkisi
İkisi birbirini besler. Makine öğrenmesi modelleri örneklerden öğrenir; ne kadar çok ve kaliteli veri varsa model o kadar iyi genelleme yapar. Büyük veri altyapısı bu veriyi toplayıp hazırlar, yapay zeka ise insanın tek tek inceleyemeyeceği ölçekte örüntüleri bulur. Metin ve görsel üreten modellerin ortaya çıkabilmesi de devasa veri kümeleri sayesinde olmuştur. Konunun devamı için yapay zeka nedir ve günlük hayatta kullanım alanları ile üretken yapay zeka nedir yazılarına göz atabilirsiniz.
Zorluklar ve riskler
- Gizlilik: Tek başına zararsız görünen veriler birleştirildiğinde kişiler hakkında hassas çıkarımlar yapılabilir. Kişisel verilerin işlenmesi birçok ülkede yasal düzenlemelere tabidir; yükümlülükler için resmî kaynaklara başvurmak gerekir.
- Güvenlik: Büyük veri depoları saldırganlar için çekici hedeflerdir; sızıntıların etkisi de büyük olur.
- Veri kalitesi: Hatalı veriyle yapılan analiz, yanlış sonuçları güvenilir gösterir.
- Önyargı: Veri belirli grupları eksik ya da çarpık temsil ediyorsa sonuçlar da adaletsiz olabilir.
- Maliyet ve uzmanlık: Altyapı, depolama ve nitelikli çalışan ihtiyacı küçük kurumlar için ciddi bir yüktür.
- Yanlış yorum: İki şeyin birlikte artması birinin diğerine neden olduğunu göstermez; çok veride tesadüfi ilişkiler bulmak kolaydır.
Sık Sorulan Sorular
Ne kadar veri “büyük veri” sayılır?
Kesin bir eşik yoktur. Eldeki araçlarla saklanması ve işlenmesi zorlaşan, dağıtık sistemlere ihtiyaç duyulan veri bu kapsamda değerlendirilir.
Büyük veri ile veri bilimi aynı şey mi?
Hayır. Büyük veri, verinin ölçeği ve onu taşıyan altyapıyla ilgilidir. Veri bilimi ise veriden bilgi çıkarmak için istatistik ve programlamayı kullanan disiplindir; küçük verilerle de yapılır.
Küçük işletmeler büyük veriden yararlanabilir mi?
Bulut hizmetleri sayesinde kendi sunucularını kurmadan analiz yapmak mümkündür. Ancak çoğu küçük işletme için öncelik, elindeki veriyi düzenli tutmak ve doğru soruları sormaktır.
Kısaca
Büyük veri, hacmi, hızı ve çeşitliliği nedeniyle klasik araçlarla yönetilemeyen veridir ve dağıtık sistemlerle işlenerek değere dönüştürülür. Sağladığı imkânlar kadar gizlilik, güvenlik ve veri kalitesi sorumluluklarını da beraberinde getirir.
