Örümcek, arama motorları için web sayfalarını bulmak ve kataloglamak amacıyla İnternet'te gezinen bir yazılım parçasıdır. Örümcekler, veritabanlarını oluşturmak ve sürdürmek için Google dahil tüm büyük arama motorları tarafından kullanılır. Bu programlar, birbiri ardına bağlantılara tıklayarak Web'de sürekli olarak gezinir.

Örneğin, bir tarayıcı bir web sitesinin ana sayfasında 20 bağlantı bulabilir. Her bağlantıyı tarayıcı takip edecek ve daha sonra keşfettiği her web sitesini arama motorunun veritabanına ekleyecektir. Elbette, yeni keşfedilen siteler, tarayıcının takip etmeye devam ettiği bağlantıları da içerebilir. İç bağlantılar, aynı web sitesindeki bölümlere bağlananlardır, dış bağlantılar ise diğer web sitelerine (dış bağlantılar) gider. Tarayıcı, dış bağlantıların bir sonucu olarak yeni web sitelerini ziyaret edecek ve daha da fazla sayfa toplayacaktır.

Örümcekler, web sitesi bağlantılarının birbirine bağlı yapısından dolayı önceden taranan web sitelerini sık sık ziyaret eder. Bu, arama algoritmalarının belirli bir web sitesine bağlanan dış sitelerin sayısını hesaba katmasını sağlar. Tipik olarak, bir web sitesi, arama motoru sonuçlarında ne kadar fazla gelen bağlantıya sahip olursa o kadar iyi görünür. Örümcekler, yalnızca yeni siteler bularak ve bağlantıları izleyerek değil, aynı zamanda tek tek sayfalardaki değişiklikleri de izleyerek arama motoru veritabanlarının güncel kalmasına yardımcı olur.

• Örümceklerin diğer isimleri robotlar ve sürüngenlerdir.