Un buscador de Internet es realmente un software muy elaborado que trabaja recuperando información de una base de datos basándose en ciertos criterios que definen los usuarios. Los modernos buscadores de Internet buscan en bases de datos que contiene enormes cantidades de datos que se consiguen de la red, grupos de noticias y directorios. La evolución de los buscadores fue realmente rápida, apareciendo el primer buscador de Internet real a principios de los noventa y uno con un estilo más moderno a mediados de la misma década.
Antes de que existiera lo que conocemos como la red WWW – donde ya existía Internet propiamente dicho – ya se creó el primero buscador de Internet. En este punto de la historia uno de los protocolos principales usado en la red era FTP, que es un sistema de transferencia de archivos. Los servidores FTP existían por todo el mundo, normalmente en universidades, centros de investigación o sitios gubernamentales.
Algunos estudiantes de la universidad de McGill en Montreal decidieron que una base de datos centralizada de archivos disponibles en varios servidores FTP, podrían ahorrar tiempo y ofrecer un buen servicio a otros. Esto fue el inicio del buscador Archie.
Archie fue un buscador que regularmente se conectaba a servidores FTP y creaba un índice de los archivos que había en el servidor. Al no estar tan desarrollados el tiempo de proceso y el anchote banda, Archie solo verificaba actualizaciones cada mes. Al principio este chequeo era realizado usando comandos simples de Unix, pero pronto se mejoró el interfaz utilizado para buscar en el índice más fácilmente.
Después de Archie empezaron a aparecer otros buscadores que tenían similitudes, como es el caso de Gopher. Lo cierto es que el buscador Archie quedó hasta cierto punto obsoleto con la llegada de la red WWW y los buscadores que empezaron a aparecer, aunque siguen existiendo servidores de este antiguo buscador.
Poco después de crearse la WWW, fue creado el primero robot de búsquedas que se llamó Wanderer. Lo que hacía era indexar todos los sitios Web de Internet al capturar sus URLs, pero no podía hacer un seguimiento del contenido de los sitios Web. El índice asociado con el sistema Wanderer se llamó finalmente Wandex.
Unos cuantos proyectos más crecieron junto a Wanderer, lo cual comenzó a acercarse al buscador de Internet moderno que conocemos. Algunos ejemplos fueron RBSE, JumpStation y Worm. Estos buscadores usaban datos conseguidos por robots Web para devolver información a los usuarios.
En los buscadores anteriormente mencionados, la información seguía llegando sin filtrar. Aun así, algunos de ellos intentaban dar una valoración a las páginas que detectaban. En 1993 una compañía formada por estudiantes de la universidad de Stanford crearon lo que Excite, donde hay polémica sobre si fue el primer buscador que podía analizar contenido en las páginas. Se ofrecía este buscador para buscar en sitios y no en la Web como algo general.
Al año siguiente el mundo de los buscadores tuvo un giro importante. Una compañía llamada WebCrawler sacó un buscador que no solo podía capturar el título y cabecera de las páginas en Internet, sino que podía conseguir también el contenido. WebCrawler tuvo un gran éxito – tanto éxito que durante gran parte del tiempo ni siquiera se podía utilizar porque todos los recursos del sistema estaban siendo usados.
Un poco más tarde apareció Lycos, donde incluía muchas de las funciones que incorporaba WebCrawler. Basada sus resultados en la relevancia, y permitía al usuarios realizar configuraciones para definir mejor los resultados. Este buscador tuvo un enorme éxito y en solo dos años ya tenía archivados en su base de datos más de sesenta millones de sitios Web.
Por tanto, si preguntamos cual fue el primer buscador que existió, podemos decir que fue Archie. Sin embargo, mucha gente piensa en los buscadores como algo diferente a lo que fue Archie. Muchos piensan que WebCrawler se acerca más a lo que es un buscador, y por tanto piensan que fue realmente el primero.
