Büyük Veri (Big Data): Nedir, Nasıl Çalışır?

 

Büyük veri, çeşitli kaynaklardan hızlı bir şekilde oluşturulan ve iletilen devasa, karmaşık veri kümelerini ifade eder. Veri kümeleri teknolojinin gelişmesiyle önem kazanmıştır. Çeşitli kaynaklardan elde edilen veriler finans, sağlık, medya, eğitim gibi birçok sektörde çok büyük miktarda veri yığınlarına sebep olmuştur. Birçok sektör gibi bankacılık sektöründe dijital dönüşüm de verilerin artmasında rol oynayan başka bir alandır.  Yığılan verilerin işlenmesi ve analiz edilmesi kuruluşlara birçok yenilik ve avantaj sağlamaktadır. Bu yazımızda büyük veri nedir, özellikleri nelerdir, nasıl çalışır, hangi alanlarda nasıl kullanılır gibi konularda detaylı bilgi sahibi olacaksınız.

Büyük Veri Nedir?

Hacmi çok büyük olan ve zamanla katlanarak büyüyen verilere büyük veri adı verilir. Büyük veriler ayrıca verilerin toplanma hızını ve veri noktalarının çeşitliliğini de kapsar. Bu veriler o kadar büyük ve karmaşık bir veri kategorisindedir ki geleneksel veri yönetim araçları tarafından depolanmaları ve işlenmeleri mümkün değildir.

Özellikleri

Büyük verilerin özellikleri kısaca 4V (volume, variety, velocity, variabilty) olarak şifrelenmektedir.

1. Hacim (Volume): Verilerin boyutları veri değerinin belirlenmesinde önemli rol oynar. Verinin büyük kategorisine girmesindeki en belirleyici unsur verinin hacmidir. Geleneksel veriler megabayt, gigabayt, terabayt gibi boyutlarda ölçülürken, büyük veriler petabayt ve zettabayt gibi devasa birimlerle ölçülür. Basit bir örnekle, 1 gigabayt HD kalitedeki 7 dakikalık bir videoya eşitken, 1 zettabayt 250 milyar DVD’ye eşittir.
2. Çeşitlilik (Variety): Veri özelliğindeki çeşitlilik yapılandırılmış ve yapılandırılmamış verileri kapsar. Geçmişte sadece elektronik tablolar ve veri tabanları veri kaynağı olarak görülürdü. Günümüzde teknolojinin de katkısıyla veri toplama araçları büyük çeşitlilik kazandı. Artık fotoğraf, video, e-posta, pdf, ses, izleme cihazları gibi birçok araç yardımıyla veri toplamak mümkün. Çeşitli veri kaynağının ve yapılandırılmamış verilerin varlığı verilerin depolanmasını, işlenmesini ve analiz edilmesini zorlaştıran faktörlerdendir.
3. Hız (Velocity): Bu özellik verilerin oluşturulma hızını ve analiz hızını temsil eder. Talepler doğrultusunda verilerin üretilme ve işlenme hızı verilerin potansiyellerini belirlemede önemli rol oynar. Şirketlerin geçek zamanlı olarak veri elde etmesi ve bu verileri analiz ederek kullanması birçok fayda sağlayarak rekabet üstünlüğü sağlar. Büyük veri hızı daha çok iş süreçleri, uygulama günlükleri, sosyal medya siteleri, mobil cihazlar gibi kaynaklardan gelen verilerin akış hızıyla ilgilenir. Bu tür veri akışları çok büyük ve süreklidir. Ayrıca sağlık cihazlarından alınan sensör verileri de buna güzel bir örnektir. Verilerin anında işlenmesi kullanıcılara hayat kurtarıcı bilgiler kazandırırken sağlık sektörüne büyük kolaylıklar sağlar.
4. Değişkenlik (Variability): Bu özellik, veriler tarafından zaman zaman ortaya çıkan tutarsızlıkları temsil eder. Verilerin verimli bir şekilde işlenmesini ve yönetilmesini engeller.

Büyük Veri Nasıl Çalışır?

Büyük veriler yapılandırılmış veriler, yapılandırılmamış veriler ve yarı yapılandırılmış veriler olarak üçe ayrılır. Yapılandırılmış veriler şirketler tarafından veri tabanlarında ve elektronik tablolarda bulunan ve hâlihazırda yönetilen bilgilerden oluşur. Genellikle sayısaldır. Yapılandırılmamış veriler, organize edilmemiş ve önceden belirlenmiş bir model veya formata girmeyen bilgilerdir. Kurumların müşteri ihtiyaçları hakkında bilgi toplamasına yardımcı olan sosyal medya kaynaklarından toplanan verileri içerir. Bu tarz veriler anketlerden, elektronik cihazlarla yapılan satın alımlardan, elektronik uygulamalardan, sosyal ağlarda herkese açık yapılan yorumlardan bilgi toplayarak elde edilebilir. Bu veriler genellikle bilgisayar veri tabanlarında depolanır. Analizleri ise büyük boyuttaki veriler için özel olarak tasarlanmış yazılımlar sayesinde gerçekleşir.

Veri analizi neredeyse her sektörde bulunur, şirket ve kuruluşlar için en önemli yol göstericilerden biridir. Veri analizi sayesinde sektöre göre eğilimler belirlenir, bilinmeyen sorular yanıtlanır, müşteri ilişkileri geliştirilir.

Kullanım Alanları

Veri analitiği, işletmelerin çalışma şeklini değiştirerek hemen hemen her sektöre yayılmaktadır. Finans, sağlık, medya, tarım, reklam ve pazarlama, işletme, e-ticaret ve perakende, eğitim, nesnelerin interneti teknolojisi ve spor alanlarında verilerin verimli kullanımını görebilirsiniz.

1. Finans: Finans ve sigorta sektörlerinde çok fazla veri girişi bulunmaktadır. Bunların yanı sıra risk değerlendirmeleri, kredi sıralamaları, aracılık hizmetleri için veri teknolojisinden ve tahmine dayalı analitikten faydalanılır. Sektörde gerçekleşecek dolandırıcılık ve siber suçlar gibi istenmeyen durumların önlenmesi için yine verilerin varlığına ihtiyaç duyuluyor.
2. Sağlık: Hastanelerden ilaç şirketlerine kadar tüm sağlık sektöründe verilerden elde edilen faydalar kullanılır. Dünya üzerindeki her insanın nüfus verileri ve hasta profil verileri sağlık sektörünü devasa bir veri yığınına dönüştürmüştür. Sağlık sektöründe elde edilen veriler, hastalıklar üzerinde yapılan araştırmalara ve yeni ilaçların üretimini ışık tutan değerli bilgileri içerir.
3. Medya: Büyük medya şirketleri kullanıcılarına kişiselleştirilmiş bir deneyim sunmak amacıyla kullanıcıların okuma, izleme, dinleme verilerini toplar ve analiz eder. Toplanıp analiz edilen veriler sayesinde kullanıcılara zevklerine uygun öneriler yapılır ve müşteri deneyimi iyileştirilir.
4. Tarım: Tohum mühendisliğinde yapılan yeniliklerde ve mahsullerin verimliliğinin tahmininde veri kullanımı gün geçtikçe artarak gelişmektedir. Bunun dışında, bilim adamları açlık ve yetersiz beslenmeyle mücadele gibi küresel sorunlara çözüm bulabilmek için büyük verilerden bilgi toplayarak çalışmalar gerçekleştirir.

Avantajları

• İşletmelerde karar aşamasında verilerin kullanılması karar vericilerin sağlıklı seçimler yapabilmesine olanak sağlar.
• Veri analiziyle şirket ve kuruluşlar sosyal verilere erişerek yeni stratejiler geliştirebilir.
• Geleneksel müşteri iletişiminin büyük oranda değiştirmeyi amaçlayan kuruluşlar, müşterilerden aldıkları geri bildirimleri okumak ve değerlendirmek için veri ve doğal dil işleme teknolojilerinden yararlanır.
• Ürün ya da hizmetle alakalı olası problem ve risklerin erken tespiti yapılabilir ve gerekli önlemler alınır, daha iyi bir operasyonel verimlilik elde edilir.

Dezavantajları

Şirketlerin bünyelerinde müşterileri hakkında birçok veri bulundurması faydalı analizler yapma konusunda şirketlere yol gösterse de beraberinde önemli sorunlar da getirebilmektedir. Bu sorunların en başında şirketlerin yaşadığı veri ihlali gelmektedir. Yapılan analizler ne kadar faydalı işlere dönüştürülse de büyük hacimli verilerin varlığı bu verilerin işlenmesi, aralarından faydalı olanların ayıklanması gibi iş yüklerini artırarak kullanışlılığı azaltabilmektedir. Sayısal değerlerden oluşan yapılandırılmış veriler kolayca işlenip saklanabilirken e-posta, video, metin belgesinden oluşan yapılandırılmamış veriler kullanışlı hale gelene kadar karmaşık tekniklerle ayrıştırılıp, analiz edilmelidir.

Büyük Verinin Faydaları

Veriler kullanıcıların yaptıkları işte onlara fayda sağlayacak birçok bilgi sağlar. İş verimliliğini artırmak veya gelecekteki iş sonuçlarını tahmin etmek için içgörüler oluşturmak için kullanılabilir. Ayrıca maliyet optimizasyonu, müşteri tutma, karar verme, proses otomasyonu gibi birçok konuda veri kullanıcılarına yardımcı olacak bilgiler sağlar.

Büyük Veri Çeşitleri

Büyük veriler yapılandırılmış, yapılandırılmamış ve yarı yapılandırılmış veri olarak üçe ayrılır.

1. Yapılandırılmış Veri: Sabit formatta saklanabilen, erişilebilen ve işlenebilen herhangi bir veri yapılandırılmış veri olarak adlandırılır.
2. Yapılandırılmamış Veri: Bilinmeyen formda veya yapıda saklanan herhangi bir veri, yapılandırılmamış veri olarak adlandırılır. Boyutlarının büyük olmasına ek olarak, yapılandırılmamış olduklarından dolayı bu tür verilerden faydalı bilgiler elde etmek çok zordur. Google arama motoruyla aratılan bir kelime sonucunda kişinin karşısına çıkan sonuç yapılandırılmamış veriye bir örnektir. Metin dosyaları, resimler, videolar içeren heterojen bir veri kaynağıdır.
3. Yarı Yapılandırılmış Veri: Her iki veri biçimini de bünyelerinde barındıran verilerdir. Formda yapılandırılmış verilerdir ancak yine de yapılandırılmış veriler gibi rasyonel bir modelde düzenlenmemiştir.