İndeksi yapılamayan sayfalar ve Web’de bulunan ancak, arama motorlarının bugünkü teknoloji ile girebilmelerinin mümkün olmadığı kaynaklar “Görünmeyen Web” i oluşturuyorlar.
Geniş tabanlı arama motorlarının işletilmesi ve Web’de yer alan kaynakları bulmak ve bunları güncellemek pahalı bir süreç. Bu nedenle arama motorları bulup getirdikleri ve indeksini yaptıkları Web sitelerini sınırlı tutuyorlar. İndeksi yapılmayan bu sayfaların Görünmeyen Web’i oluşturduğu düşünülsede, aslında değil. Bu siteler görülebilinir ve indeksi yapılabilinir, fakat arama motorları bilinçli olarak bu işlemi gerçekleştirmiyorlar.Görünmeyen Web çok büyük ve görünür kısımdan, yani arama motorlarının ulaşabildiği ve indeksini yapabildiği kısımdan daha hızlı büyümekte
Bazı Web sayfalarının indekslenmemesinin en basit sebebi, arama motorlarının bu sayfalara ulaşabilecek siber bağlantıların (link) olmaması. Yani Web ortamında başka siteler tarafından link verilmiyorsa, arama motorları bu tip sayfalara ulaşamayacaktır. Arama motorlarının indeksleme yapmak için kullandığı örümcek (spider) veya robot diye adlandırılan programlar siber bağlantılar sayesinde diğer Web sayfalarına veya sitelerine ulaşırlar.
Bir diğer neden ise bu tip sayfalar arama motorlarının indeksini yapamadığı grafik, imaj (image), flash, ses ve PDF dosyaları gibi formatlardan oluştuğu içindir. Son dönemde Google, sahip oldugu teknolojiyi geliştirdiğini, dolayısıyla Web sitelerinde bulunan flash tabanlı reklamları okuyabileceğini ve arkasında var olan sitelere ulaşabildiğini açıkladı. Ayrıca artık Google, PDF dosyalarına erişebiliyor. Bu durum yakın zamanda mevcut arama motoru teknolojisinin gelişeceğinin ve Görünmeyen Web’in biraz daha görünür hale geleceğinin bir göstergesi olabilir.
Görünmeyen Web’in en büyük kısımını veritabanları oluşturuyor. Arama motorları, ERIC gibi veritabanlarını bulabiliyor ancak içine giremiyorlar. Robotlar karşılaştıkları veritabanlarının yanlızca adreslerini alabiliyor, fakat içlerindeki bilgilere ulaşamıyorlar.
BrightPlanet’in Mart 2000’de yaptığı çalışmaya göre Görünmeyen Web’in hacmi ve özellikleri aşağıdaki şekildedir:
- Veritabanlarında bulunan kaynaklar arama motorlarının ulaşabildiği bilgilerin 500 katı büyüklüğünde.
- Görünmeyen Web 7500 terabit (terabyte) bilgi barındırırken, görünür kısım sadece 19 terabit bilgi içeriyor.
- Görünmeyen Web 550 milyar döküman barındırırken, görünür kısım 1 milyarı aşkın döküman içermekte. ,
- İkiyüzbin’i aşkın Görünmeyen Web sitesi mevcut.
- Görünmeyen Web’i oluşturan kaynakların yarısından çoğu konuya özel veritabanlarından oluşuyor.
- Görünmeyen Web’in %95’i halka açık bilgi kaynağı, yani üyelik için ücret almıyorlar.
* Görünmeyen Web (Invisible Web), bazı kaynaklarca Derin Web (Deep Web), diğer kaynaklarda ise Kara Delik (Black Hole) olarak adlandırılır.
0 yorum:
Yorum Gönder