¿Un sistema distribuido? Busquemos en GOOGLE...

Ver el tema anterior Ver el tema siguiente Ir abajo

¿Un sistema distribuido? Busquemos en GOOGLE...

Mensaje por Fabricio_Torrico el Sáb Nov 19, 2016 4:49 pm

¿Un sistema distribuido? Busquemos en GOOGLE...

Probablemente cada uno de nosotros nos hicimos esta pregunta cuando nos tocó escribir el artículo de la semana, y tal vez al igual que yo buscaste en GOOGLE sobre algún sistema distribuido en particular o bien escribiste sobre algún celular que te gusto Laughing  Very Happy. Sea como fuere, buscamos en google información sobre el tema seleccionado sin percatarnos que de hecho Google es un sistema distribuido por excelencia.
Como vimos en el video de hace algunas semanas, Google es el buscador por excelencia y tiene una tecnología denominada "Google boot" que lo que hace básicamente es buscar sitios web nuevos y copiarlos a los servidores de Google distribuidos por todo el mundo. Veamos un poco más sobre Google...

Servidores de Google

De acuerdo a la información disponible en el sitio de Internet “Data Center Knowledge” ([Tienes que estar registrado y conectado para ver este vínculo] Google en el 2009 reconoció que uno de sus centros de operaciones, el cual cuenta con un hangar lleno con 45 contenedores y cada contenedor alberga hasta 1.160 servidores superando los 45.000 servidores. Este ejemplo es sólo uno de muchos de los centros de datos que posee alrededor del mundo. De acuerdo con Jonathan Komey, un experto en energía, de acuerdo a un reporte oficial de consumo energético entregado por Google, este consumo es el requerido para operar 900.000 servidores.


Para que su herramienta principal, el motor de búsqueda, pueda ofrecer resultados en tiempos prácticamente inmediatos, Google organiza sus servidores en racks configurando clusters dentro de un gran números de datacenters ubicados alrededor de todo el planeta para así estar en capacidad de entregar resultados prácticamente instantaneos. La distribución geográfica la realiza porque la velocidad de respuesta también depende de la distancia entre el cliente y el servidor que le da respuesta.
Toda esta infraestructura está configurada con balanceadores de carga que permiten que las peticiones sean procesadas de la manera más eficiente posible, y además posee una configuración de red que asegura siempre las mejores rutas utilizando cientos de enrutadores, también hace uso de las técnicas de proxy reverso permitiendo que los servidores se dediquen exclusivamente a resolver la petición del usuario.

Servicios que evidencias que Google es un sistema distribuido

Dentro de los diferentes servicios que ofrece Google, se pueden apreciar las diversas características que tienen los sistemas distribuidos, entre ellos:

  1. El motor de búsqueda utiliza procesamiento distribuido. Esta herramienta al tener indexados millones de sitios web, estos índices se distribuyen en los numerosos centros de datos que tiene Google y el usuario al realizar una búsqueda, la petición es direccionada a medida que el usuario teclea su consulta. Los primeros servidores en ser consultados son los que están más cerca geográficamente del usuario y de acuerdo a los resultados va expandiendo la búsqueda hacia otros servidores.

  2. Los servicios de Correo y Google Docs utilizan almacenamiento distribuido. La herramienta de correo de Google, Gmail, utiliza grandes cantidades de almacenamiento, cada cuenta de usuario supera en promedio los 7 GB de capacidad de almacenamiento más las cuentas de los usuarios de servicios como Google Apps los cuales también cuentan con el servicio de almacenamiento. Otro rasgo distinguible en este apartado serían las bases de datos distribuidas.

  3. Otra característica disponible es la variedad de tecnologías que permiten a Google prestar sus servicios. Para acceder a cualquier servicio ya sea correo, edición de documentos en línea o edición de imágenes, el usuario maneja un único usuario para todo ello, por esto Google cuenta con un sistema independiente de autenticación de usuarios que presta sus servicios a toda la plataforma.

  4. En cuanto a Hardware, Google cuenta con servidores dedicados para servicios específicos:

    • Servidores balanceadores de cargas los cuales reciben las peticiones de los clientes y las distribuyen entre los servidores proxy.
    • Los servidores proxy reciben la petición y la procesan, en caso de encontrar el resultado dentro de su caché la devuelven, y si no la pasan a los servidores Web.
    • Los servidores Web procesan las consultas enviando peticiones a servidores de índices, reúnen los resultados los formatean en un documento HTML el cual contiene los diferentes resultados con un resumen de cada uno, consulta a un servidor de ortografía por sugerencias, realiza el proceso de “PageRank” y consulta el servicio de publicidad “AdSense”.
    • Los servidores de índices contienen la lista con los identificadores de todos los documentos almacenados donde cada identificador tiene asociado todos los documentos que poseen la palabra buscada por el usuario. Aunque no requieren gran cantidad de almacenamiento, si necesitan gran poder de procesamiento.
    • Servidores de documentos. En estos servidores se almacenan los documentos a los cuales apuntan los índices. Requieren gran cantidad de almacenamiento.
    • Servidores de recolección de datos. Dedicados a navegar por Internet actualizando tanto los índices como las bases de datos de los documentos.



Ademas, como vimos para el primer parcial, un sistema realmente distribuido debe cumplir con ciertas características. Y efectivamente, en los sistemas de Google están definitivamente presentes todos los aspectos de seguridad de un sistema distribuido:

  • Confidencialidad
  • Integridad
  • Disponibilidad
  • Tolerancia y recuperación de fallos
  • Transparencia


Conclusiones



Como vimos en el video de "Los Creadores de Google", Larry Page y Sergey Brin no tenian dinero para grandes servidores cuando empezaron con el proyecto, por tanto emplearon la conexión de varios discos duros y procesadores montados en una torre con fichas lego. Pero como se evidenció a lo largo del artículo, Goolge creció y necesitó expandirse por todo el mundo, lo cual requirió implementar infraestructuras distribuidas para lograr así ser el buscador y sistema distribuido por excelencia a nivel mundial.

Fabricio_Torrico

Mensajes : 16
Fecha de inscripción : 22/07/2016

Ver perfil de usuario

Volver arriba Ir abajo

Re: ¿Un sistema distribuido? Busquemos en GOOGLE...

Mensaje por Arnol.Robles el Lun Nov 21, 2016 4:22 pm


Arnol.Robles

Mensajes : 15
Fecha de inscripción : 22/07/2016

Ver perfil de usuario

Volver arriba Ir abajo

Re: ¿Un sistema distribuido? Busquemos en GOOGLE...

Mensaje por deysi_chura el Jue Nov 24, 2016 11:16 am


deysi_chura

Mensajes : 15
Fecha de inscripción : 22/07/2016

Ver perfil de usuario

Volver arriba Ir abajo

Re: ¿Un sistema distribuido? Busquemos en GOOGLE...

Mensaje por cristian_prado el Jue Nov 24, 2016 12:47 pm

LOS SERVIDORES DE GOOGLE

A pesar de que no se conocen las cifras exactas, se estima que Google mantiene más de 2.000.000 de servidores, ordenados en racks de clusters en varias ciudades del mundo. Los principales centros se encuentran en Mountain View (California), Virginia, Memphis Atlanta y Dublín. Hay otras instalaciones en construcción en The Dalles y Saint-Ghislain. En 2009 Google inauguró otra instalación ecológica en Council Bluffs cerca de una fuente abundante de energía eólica y de una red de fibra óptica. Gracias a la dispersión geográfica de sus servidores, Google puede ofrecer un servicio más rápido a los usuarios, lo cual es vital teniendo en cuenta que en el año 2005 Google había indexado 8.000 millones de webs.

Cuando alguien intenta conectarse a Google, los servidores DNS traducen la dirección [Tienes que estar registrado y conectado para ver este vínculo] a varias IP's distintas permitiendo que se distribuya la carga entre varios clusters. Cuando un dominio tiene varias IP's, como en el caso de Google, el orden en que los servidores DNS traducen las direcciones IP se calcula mediante el sistema de planificación Round-robin.

Cada cluster de Google tiene miles de servidores, por lo que cuando alguien se conecta a un cluster, se distribuye la carga de nuevo mediante el hardware del cluster para enviar la consulta al servidor web que esté menos ocupado en ese momento.

Los racks de Google están hechos a medida y pueden contener entre 40 y 80 servidores. Cada rack tiene una conexión ethernet a un router local que a su vez se conecta al router central utilizando una conexión de 1 Gigabit

TIPOS DE SERVIDORES

La infraestructura de servidores de Google está dividida en varias categorías, cada una con un propósito diferente:

Los distribuidores de carga aceptan la petición del cliente y la reenvían a uno de los servidores web de Google a través de servidores proxy Squid.

Los servidores proxy Squid aceptan la petición y devuelven el resultado desde la caché local si es posible y si no reenvían la petición al servidor web.

Los servidores Web coordinan la ejecución de las consultas enviadas por los usuarios y formatean el resultado utilizando el lenguaje HTML. La ejecución consiste en enviar peticiones a servidores de índices, fusionar los resultados, calcular su rango utilizado PageRank, elaborar un resumen para cada resultado, preguntar por posibles sugerencias a los servidores de ortografía y finalmente obtener una lista de anuncios del servidor de publicidad.

Los servidores de recolección de datos están dedicados permanentemente a navegar por Internet al estilo araña. Van actualizando el índice y las bases de datos de documentos con las páginas web que van encontrando y aplican los algoritmos de Google para calcular el rango de cada página.

Los servidores de índices contienen un conjunto de trozos de índice. Devuelven una lista de id's de documentos, llamados "docid", de forma que los documentos a los que identifican contienen la palabra que el usuario está buscando. Estos servidores necesitan menos espacio en disco, pero en cambio soportan una carga de procesador bastante elevada.

Los servidores de documentos sirven para almacenar los documentos. Cada documento se almacena en docenas de servidores de documentos. Cuando alguien realiza una búsqueda, el servidor de documentos devuelve un resumen de la página basado en las palabras buscadas por el usuario. También puede devolver el documento entero directamente si se lo solicitan. Estos servidores requieren bastante espacio de disco.

Los servidores de anuncios (ad servers) gestionan la publicidad de los servicios AdWords y AdSense.


Distribuidor de Cargas.


Arquitectura básica del buscador Google.


Google ordena los resultados de la búsqueda utilizando su propio algoritmo PageRank.. A cada página web se le asigna un número en función del número de enlaces de otras páginas que la apuntan, el valor de esas páginas y otros criterios no públicos.

cristian_prado

Mensajes : 15
Fecha de inscripción : 22/07/2016

Ver perfil de usuario

Volver arriba Ir abajo

Re: ¿Un sistema distribuido? Busquemos en GOOGLE...

Mensaje por Ted.Carrasco el Vie Nov 25, 2016 9:04 am

El gigante de Internet Google anunció hoy que en 2013 instalará en Chile el primer centro de datos en América Latina, que permitirá un uso más rápido y accesible de sus servicios a los usuarios de la región.

El proyecto, que supone una inversión de 150 millones de dólares, consiste en la construcción de un "data center" en Quilicura, municipio santiaguino de bajos ingresos, donde se dieron a conocer este jueves los detalles de una de las sedes más importantes de la trasnacional californiana en Latinoamérica.

El centro de datos, que se inaugurará a finales de 2013, permitirá almacenar grandes cantidades de información de todos los servicios y productos de Google, como son su clásico buscador, su plataforma de correo Gmail y el portal de videos Youtube, entre otros, confirmó Adriana Noreña, directora de la compañía en Latinoamérica.

Las computadoras que Google instale en Quilicura trabajarán las 24 horas durante los 7 días de la semana para procesar la información de los servidores de una manera más rápida y accesible.

Asimismo, Santiago será el epicentro de los negocios de publicidad y márketing en la región, así como uno de los núcleos donde se desarrollarán aplicaciones para teléfonos móviles, indicó Noreña.

Según las previsiones de la compañía californiana creada por los estadounidenses Larry Page y Sergey Brin en 1997, el funcionamiento del "data center" permitirá la contratación de 20 personas.

"Estamos construyendo este centro de datos para asegurar que nuestros usuarios de América Latina y de todo el mundo tengan el acceso más rápido y fiable posible para acceder a todos los servicios de Google", precisó Google en un comunicado difundido en su portal web.

Noreña explicó, durante el acto de lanzamiento, que se eligió a Chile por ser un país emergente, con gran cantidad de usuarios de Internet y que facilita mucho la innovación e implantación de las nuevas tecnologías.

Hasta el pasado año, la presencia de Google en la región se limitaba a las sedes que tenía en Brasil, México y Argentina.

Así, con la misión de fortalecer su presencia en América Latina, el gigante de los buscadores en Internet se instaló en Chile en enero de 2011 y abrió además dos oficinas más en Perú y Colombia.

En la presentación, intervino también el ministro chileno de Transportes y Telecomunicaciones, Pedro Pablo Errázuriz, quien agradeció a Google la decisión de instalar en Chile este nuevo centro tecnológico.

En este sentido, destacó que es el primer país de la región que se avanza en disminuir los costos de acceso a la información en Internet y explicó que esto va a significar la captación de nuevos inversores.

Asimismo, Google se comprometió a donar 50.000 dólares a la comuna de Quilicura para que invierta en infraestructura tecnológica en las escuelas.

Ted.Carrasco

Mensajes : 14
Fecha de inscripción : 22/07/2016

Ver perfil de usuario

Volver arriba Ir abajo

Re: ¿Un sistema distribuido? Busquemos en GOOGLE...

Mensaje por charlie_seoane el Vie Nov 25, 2016 9:16 am

[Tienes que estar registrado y conectado para ver este vínculo]

El mejor ejemplo de un sistema distribuido que tenga presencia en múltiples países con distintas tecnologías es la gigante de Internet Google.

De acuerdo a la información disponible en el sitio de Internet “Data Center Knowledge” ([Tienes que estar registrado y conectado para ver este vínculo] Google en el 2009 reconoció que uno de sus centros de operaciones, el cual cuenta con un hangar lleno con 45 contenedores y cada contenedor alberga hasta 1.160 servidores superando los 45.000 servidores. Este ejemplo es sólo uno de muchos de los centros de datos que posee alrededor del mundo. De acuerdo con Jonathan Komey, un experto en energía, de acuerdo a un reporte oficial de consumo energético entregado por Google, este consumo es el requerido para operar 900.000 servidores.

Para que su herramienta principal, el motor de búsqueda, pueda ofrecer resultados en tiempos prácticamente inmediatos, Google organiza sus servidores en racks configurando clusters dentro de un gran números de datacenters ubicados alrededor de todo el planeta para así estar en capacidad de entregar resultados prácticamente instantáneamente. La distribución geográfica la realiza porque la velocidad de respuesta también depende de la distancia entre el cliente y el servidor que le da respuesta.


Toda esta infraestructura está configurada con balanceadores de carga que permiten que las peticiones sean procesadas de la manera más eficiente posible, y además posee una configuración de red que asegura siempre las mejores rutas utilizando cientos de enrutadores, también hace uso de las técnicas de proxy reverso permitiendo que los servidores se dediquen exclusivamente a resolver la petición del usuario.



Dentro de los diferentes servicios que ofrece Google, se pueden apreciar las diversas características que tienen los sistemas distribuidos:



· El motor de búsqueda utiliza procesamiento distribuido. Esta herramienta al tener indexados millones de sitios web, estos índices se distribuyen en los numerosos centros de datos que tiene Google y el usuario al realizar una búsqueda, la petición es direccionada a medida que el usuario teclea su consulta. Los primeros servidores en ser consultados son los que están más cerca geográficamente del usuario y de acuerdo a los resultados va expandiendo la búsqueda hacia otros servidores.



· Los servicios de Correo y Google Docs utilizan almacenamiento distribuido. La herramienta de correo de Google, Gmail, utiliza grandes cantidades de almacenamiento, cada cuenta de usuario supera en promedio los 7 GB de capacidad de almacenamiento más las cuentas de los usuarios de servicios como Google Apps los cuales también cuentan con el servicio de almacenamiento. Otro rasgo distinguible en este apartado serían las bases de datos distribuidas.



· Otra característica disponible es la variedad de tecnologías que permiten a Google prestar sus servicios. Para acceder a cualquier servicio ya sea correo, edición de documentos en línea o edición de imágenes, el usuario maneja un único usuario para todo ello, por esto Google cuenta con un sistema independiente de autenticación de usuarios que presta sus servicios a toda la plataforma.
avatar
charlie_seoane

Mensajes : 10
Fecha de inscripción : 22/07/2016
Edad : 34
Localización : La Paz

Ver perfil de usuario http://www.charlieseoane.com

Volver arriba Ir abajo

EL FUTURO GOOGLE

Mensaje por marcos.landivar el Vie Nov 25, 2016 11:21 am

¿Todavía te sorprendes de todo lo que tu teléfono inteligente puede hacer por ti?

Prepárate para la próxima era, en que no necesitaremos un teléfono ni ningún otro dispositivo para recibir y usar información digital.

Esta es la visión del CEO de Google, Sundar Pichai.

“Hace solo una década”, escribió, “la computación aún era sinónimo de grandes computadoras que estaban en nuestros escritorios. Después, en unos pocos años, los elementos clave del cómputo poderoso —los procesadores y sensores— se volvieron tan pequeños y baratos que permitieron que proliferaran las supercomputadoras que caben en nuestros bolsillos: los teléfonos móviles”.

“Mirando al futuro, el próximo gran paso será que el concepto mismo del ‘dispositivo’ se desvanecerá —escribió Pichai—. Con el tiempo, la misma computadora, cualquiera sea su forma, será un asistente inteligente que te ayudará a transitar tu jornada. Nos moveremos de un mundo de móviles primero, a un mundo de inteligencia artificial primero”.
avatar
marcos.landivar

Mensajes : 15
Fecha de inscripción : 22/07/2016
Localización : La Paz

Ver perfil de usuario

Volver arriba Ir abajo

Re: ¿Un sistema distribuido? Busquemos en GOOGLE...

Mensaje por Jesus_Chambi el Sáb Nov 26, 2016 9:00 am

En este link podremos observar como se construlle un sistema distribuido
[Tienes que estar registrado y conectado para ver este vínculo]

Jesus_Chambi

Mensajes : 15
Fecha de inscripción : 22/07/2016

Ver perfil de usuario

Volver arriba Ir abajo

Re: ¿Un sistema distribuido? Busquemos en GOOGLE...

Mensaje por Contenido patrocinado


Contenido patrocinado


Volver arriba Ir abajo

Ver el tema anterior Ver el tema siguiente Volver arriba

- Temas similares

 
Permisos de este foro:
No puedes responder a temas en este foro.