Buena pregunta, yo también me pregunto cómo hará un buscador para buscar en todo Internet en cuestión de segundos.
Pero en general lo que hará será dividir la búsqueda entre muchos procesadores y con ello conseguir agilizar mucho el trabajo. En cambio un servidor de Internet no puede hacer eso porque a menudo sólo dispone de un único procesador o unos pocos.
Los buscadores web, tienes bit que se dedican a recopilar datos de webs y almacenarlas en sus bbdd propias a fin de poder dar resultados más rápidos, además, se basan en los resultados de búsquedas anteriores de otras solicitudes.
Ellos tiene sus propios algoritmos para ello, al igual que la publicidad.
El fin, que todas las cosas tienen su explicación.
Por cierto, hace ya mucho tiempo, cuando se jodio el foro por culpa del fallo de un HDD, cuando lo levantaron, des habilitaron las búsquedas durante un tiempo mientras se generaban los índices y por tanto la cache de búsqueda.
Si usas SQL, también se hace lo mismo. Cuando levantas el servicio, el acceso es muy lento, pero según avanza el tiempo y se hacen más y más solicitudes, se agiliza el acceso y usa la memoria ram del sistema para agilizar todo. Yo en mi anterior curro, tenia que limitar las instancias de SQL en los servidores por qué se apropiaban de toda la memoria, y tenían la friolera de 256Gb de RAM y cuando actualizaba parches cuando tocaba, luego tenía siempre quejas los lunes por el rendimiento, así que tenía que priorizar rutinas y uso de CPU para minimizar estas cosas.
Saludos.
