comprendiendo "Big Data"

Ver el tema anterior Ver el tema siguiente Ir abajo

comprendiendo "Big Data"

Mensaje por marcos.landivar el Lun Oct 31, 2016 9:26 am

Big data, macrodatos o datos masivos es un concepto que hace referencia al almacenamiento de grandes cantidades de datos y a los procedimientos usados para encontrar patrones repetitivos dentro de esos datos. El fenómeno del big data también se denomina a veces datos a gran escala. En los textos científicos en español con frecuencia se usa directamente el término en inglés big data.


Debido al gran avance que existe día con día en las tecnologías de información, las organizaciones se han tenido que enfrentar a nuevos desafíos que les permitan analizar, descubrir y entender más allá de lo que sus herramientas tradicionales reportan sobre su información, al mismo tiempo que durante los últimos años el gran crecimiento de las aplicaciones disponibles en internet (geo-referenciamiento, redes sociales, etc.) han sido parte importante en las decisiones de negocio de las empresas.
Muchas organizaciones se enfrentan a la pregunta sobre ¿qué información es la que se debe analizar?, sin embargo, el cuestionamiento debería estar enfocado hacia ¿qué problema es el que se está tratando de resolver?.
Si bien sabemos que existe una amplia variedad de tipos de datos a analizar, una buena clasificación nos ayudaría a entender mejor su representación, aunque es muy probable que estas categorías puedan extenderse con el avance tecnológico.

1.- Web and Social Media: Incluye contenido web e información que es obtenida de las redes sociales como Facebook, Twitter, LinkedIn, etc, blogs.
2.- Machine-to-Machine (M2M): M2M se refiere a las tecnologías que permiten conectarse a otros dispositivos. M2M utiliza dispositivos como sensores o medidores que capturan algún evento en particular (velocidad, temperatura, presión, variables meteorológicas, variables químicas como la salinidad, etc.) los cuales transmiten a través de redes alámbricas, inalámbricas o híbridas a otras aplicaciones que traducen estos eventos en información significativa.
3.- Big Transaction Data: Incluye registros de facturación, en telecomunicaciones registros detallados de las llamadas (CDR), etc. Estos datos transaccionales están disponibles en formatos tanto semiestructurados como no estructurados.
4.- Biometrics: Información biométrica en la que se incluye huellas digitales, escaneo de la retina, reconocimiento facial, genética, etc. En el área de seguridad e inteligencia, los datos biométricos han sido información importante para las agencias de investigación.
5.- Human Generated: Las personas generamos diversas cantidades de datos como la información que guarda un call center al establecer una llamada telefónica, notas de voz, correos electrónicos, documentos electrónicos, estudios médicos, etc.

Los científicos e investigadores han analizado datos desde ya hace mucho tiempo, lo que ahora representa el gran reto es la escala en la que estos son generados.

Esta explosión de "grandes datos" está transformando la manera en que se conduce una investigación adquiriendo habilidades en el uso de Big Data para resolver problemas complejos relacionados con el descubrimiento científico, investigación ambiental y biomédica, educación, salud, seguridad nacional, entre otros.
De entre los proyectos que se pueden mencionar donde se ha llevado a cabo el uso de una solución de Big Data se encuentran:

Lineberger Comprehensive Cancer Center - Bioinformatics Group utiliza Hadoop y HBase para analizar datos producidos por los investigadores de The Cancer Genome Atlas(TCGA) para soportar las investigaciones relacionadas con el cáncer.

El PSG College of Technology, India, analiza múltiples secuencias de proteínas para determinar los enlaces evolutivos y predecir estructuras moleculares. La naturaleza del algoritmo y el paralelismo computacional de Hadoop mejora la velocidad y exactitud de estas secuencias.

La Universidad de Maryland es una de las seis universidades que colaboran en la iniciativa académica de cómputo en la nube de IBM/Google. Sus investigaciones incluyen proyectos en la lingüistica computacional (machine translation), modelado del lenguaje, bioinformática, análisis de correo electrónico y procesamiento de imágenes.



La naturaleza de la información hoy es diferente a la información en el pasado. Debido a la abundacia de sensores, micrófonos, cámaras, escáneres médicos, imágenes, etc. en nuestras vidas, los datos generados a partir de estos elementos serán dentro de poco el segmento más grande de toda la información disponible.
El uso de Big Data ha ayudado a los investigadores a descubrir cosas que les podrían haber tomado años en descubrir por si mismos sin el uso de estas herramientas, debido a la velocidad del análisis, es posible que el analista de datos pueda cambiar sus ideas basándose en el resultado obtenido y retrabajar el procedimiento una y otra vez hasta encontrar el verdadero valor al que se está tratando de llegar.

Very Happy






Gracias lol!


Última edición por marcos.landivar el Vie Nov 04, 2016 11:48 am, editado 1 vez
avatar
marcos.landivar

Mensajes : 15
Fecha de inscripción : 22/07/2016
Localización : La Paz

Ver perfil de usuario

Volver arriba Ir abajo

Re: comprendiendo "Big Data"

Mensaje por charlie_seoane el Lun Oct 31, 2016 10:48 am

Hadoop





El marco Hadoop abarca un gran número de componentes de software de código abierto, con un conjunto de módulos básicos para la captura, procesamiento, gestión y análisis de grandes volúmenes de datos, que está rodeado por una gran variedad de tecnologías de soporte. Los componentes básicos incluyen:
-  El sistema de archivos distribuido Hadoop (HDFS), que es compatible con un directorio jerárquico y sistema archivos convencional que distribuye los archivos a través de los nodos de almacenamiento (es decir, DataNodes) en un clúster Hadoop.
- MapReduce, un marco modelo de programación y ejecución para el procesamiento paralelo de  aplicaciones por lotes.
-  YARN (corto para el gracioso Otro Negociador de Recursos Más en inglés), que gestiona la planificación de trabajos y asigna los recursos del clúster a aplicaciones en ejecución, arbitrando entre ellas cuando hay competencia por los recursos disponibles. También rastrea y monitorea el progreso de los trabajos de procesamiento.
-  Hadoop Common, un conjunto de librerías y utilidades utilizadas por los diferentes componentes.
En clusters de Hadoop, esas piezas centrales y otros módulos de software están puestos en capas en la parte superior de una colección de nodos de hardware de computación y almacenamiento de datos. Los nodos están conectados a través de una red interna de alta velocidad para formar un sistema paralelo de alto rendimiento y de procesamiento distribuido.
Como una colección de tecnologías de código abierto, Hadoop no está controlado por ningún proveedor único; más bien, su desarrollo es administrado por la Apache Software Foundation. Apache ofrece Hadoop bajo una licencia que básicamente otorga a los usuarios un derecho sin cargo, libre de regalías para utilizar el software. 
Los desarrolladores pueden descargarlo directamente desde la página web de Apache y construir un entorno Hadoop por su cuenta. Sin embargo, los proveedores de Hadoop proporcionan versiones “comunitarias” prediseñadas con la funcionalidad básica que también se pueden descargar de forma gratuita e instalar en una variedad de plataformas de hardware. También comercializan distribuciones de Hadoop comerciales –o empresariales– que agrupan el software con diferentes niveles de servicios de mantenimiento y soporte.
avatar
charlie_seoane

Mensajes : 10
Fecha de inscripción : 22/07/2016
Edad : 34
Localización : La Paz

Ver perfil de usuario http://www.charlieseoane.com

Volver arriba Ir abajo

Bolivia aún está atrasado en Big Data

Mensaje por Ted.Carrasco el Lun Oct 31, 2016 12:30 pm

Una tendencia cada vez más presente en las empresas que tienen presencia en internet es la Big Data (Grandes Datos), que en palabras sencillas se podría denominar a los sistemas que manipulan grandes conjuntos de datos que están en la red y que pueden ser utilizados en beneficio de una organización. Por ello, la Cámara de Industria, Comercio, Servicio y Turismo (Cainco), realizó el Foro Tecnológico con la experta Gemma Muñoz Vera, quien dijo que si bien Bolivia tiene una posición bastante baja en este sentido a comparación de sus países vecinos, a medida que esta tecnología vaya siendo más conocida, más empresas van a utilizarla. También indicó que el sector de las telecomunicaciones y la banca son los rubros que más se benefician por su uso, aunque agregó que las pymes pueden ser ideales para incorporar esta tecnología en su crecimiento.

Ted.Carrasco

Mensajes : 14
Fecha de inscripción : 22/07/2016

Ver perfil de usuario

Volver arriba Ir abajo

Re: comprendiendo "Big Data"

Mensaje por Fabricio_Torrico el Lun Oct 31, 2016 10:26 pm

Big Data & Social Media


Según la clasificación mostrada por @marcos.landivar, el primer punto fue "Web and Social Media", el siguiente video muestra como trabaja Social Media con Big Data.

Fabricio_Torrico

Mensajes : 16
Fecha de inscripción : 22/07/2016

Ver perfil de usuario

Volver arriba Ir abajo

Re: comprendiendo "Big Data"

Mensaje por deysi_chura el Vie Nov 04, 2016 12:25 am

Las 5 V’s del Big Data


El Big Data se compone de cinco dimensiones que lo caracterizan, conocidas como las 5 V’s del Big Data. Veamos en qué consiste cada uno de estos aspectos:

[Tienes que estar registrado y conectado para ver este vínculo] Volumen

Tradicionalmente, los datos se han venido generando de forma manual. Ahora provienen de máquinas o dispositivos y se gestan de manera automática, por lo que el volumen a analizar es masivo. Esta característica del Big Data se refiere al tamaño de las cantidades de datos que se generan actualmente.

Las cifras son abrumadoras. Y es que los datos que se producen en el mundo durante dos días equivalen a todos los generados antes del año 2003. Estos grandes volúmenes de datos que se producen a cada momento suponen retos técnicos y analíticos importantes para las empresas que los gestionan.

[Tienes que estar registrado y conectado para ver este vínculo] Velocidad

El flujo de datos es masivo y constante. En el entorno del Big Data, los datos se generan y almacenan a una velocidad sin precedentes. Este gran volumen provoca que los datos queden desfasados rápidamente y que pierdan su valor cuando aparecen otros nuevos.

Las empresas, por lo tanto, deben reaccionar muy rápido para poder recopilarlos, almacenarlos y procesarlos. El reto para el área de tecnología es almacenar y gestionar grandes cantidades de datos que se generan continuamente. El resto de áreas también deben trabajar a gran velocidad para convertir esos datos en información útil antes de que pierdan su valor.

[Tienes que estar registrado y conectado para ver este vínculo] Variedad

El origen de los datos es altamente heterogéneo. Provienen de múltiples soportes, herramientas y plataformas: cámaras, smarthpones, coches, sistemas GPS, redes sociales, registros de viajes, movimientos bancarios, etc. A diferencia de hace unos años, cuando los datos que se almacenaban se extraían, principalmente, de hojas de cálculo y bases de datos.

Los datos que se recopilan pueden venir estructurados (son más fáciles de gestionar) o no estructurados (en forma de documentos, vídeos, mensajes de correo electrónico, redes sociales, etc.). Dependiendo de esta diferenciación, cada tipo de información se tratará de manera distinta, a través de unas herramientas específicas. La esencia del Big Data reside en, posteriormente, combinar y configurar unos datos con otros.

Cada tipo de información se trata de manera distinta, mediante herramientas específicas, pero después la esencia del Big Data reside en combinar y configurar unos datos con otros. Es por este motivo por el que aumenta el grado de complejidad en los procesos de almacenamiento y de análisis de los datos.

[Tienes que estar registrado y conectado para ver este vínculo] Veracidad

Esta característica del Big Data probablemente sea la que supone un mayor reto. El gran volumen de datos que se genera puede hacer que dudemos del grado de veracidad de todos ellos, ya que la gran variedad de los datos provoca que muchos de ellos lleguen incompletos o incorrectos. Esto se debe a múltiples factores, por ejemplo, si los datos provienen de distintos países o si los proveedores utilizan diferentes formatos. Estos datos deben ser limpiados y analizados, una actividad incesante ya que continuamente se generan otros nuevos. La incertidumbre en cuanto a la veracidad de los datos puede provocar ciertas dudas sobre su calidad y su disponibilidad en un futuro.

Por ello, las empresas deben asegurarse de que los datos que están recopilando tengan validez, es decir, que sean los adecuados para los objetivos que se pretenden alcanzar con ellos.

[Tienes que estar registrado y conectado para ver este vínculo] Valor

Esta característica representa el aspecto más relevante del Big Data. El valor que generan los datos, una vez convertidos en información, puede considerarse el aspecto más importante. Con ese valor, las empresas tienen la oportunidad de sacar el máximo partido a los datos para introducir mejoras en su gestión, definir estrategias más óptimas, obtener una clara ventaja competitiva, realizar ofertas personalizadas a los clientes, aumentar la relación con el público, y mucho más.

deysi_chura

Mensajes : 15
Fecha de inscripción : 22/07/2016

Ver perfil de usuario

Volver arriba Ir abajo

Re: comprendiendo "Big Data"

Mensaje por Arnol.Robles el Vie Nov 04, 2016 2:36 am


BIG DATA



Video en el cual se explica claramente que es big data




Arnol.Robles

Mensajes : 15
Fecha de inscripción : 22/07/2016

Ver perfil de usuario

Volver arriba Ir abajo

Re: comprendiendo "Big Data"

Mensaje por cristian_prado el Vie Nov 04, 2016 8:46 am

BIG DATA RIESGOS Y BENEFICIOS

Big Data es un gran banco de datos disponibles para las empresas, con los que pueden trabajar con más dedicación en los gustos específicos de los usuarios, de forma casi que personalizada. Es un valioso recurso de información para diseñar estrategias más válidas y reales.

Contando con información más precisa, se minimiza el riesgos en la formulación de estrategias y políticas de mercado. La comunicación directa con el cliente, también permitirá una serie de reformas en productos o servicios, gracias a los aportes de los diferentes criterios y opiniones.

Más allá de las empresas e información personal, el Big Data aportará en un futuro información general acerca del clima, expectativas económicas, las proyecciones de las diferentes industrias, análisis económicos y mucho más, aportando así grandes bases de conocimiento para sus propósitos individuales y generales.

No obstante y evidentemente, el Big Data también tiene varios riesgos o desventajas, como el acceso a información que conservamos en todos los medios de la red: correos, cuentas, fotos, mensajes, información personal y profesional, todo está claramente a los ojos en este gran mar de datos.

A pesar de eso, la conclusión es que los beneficios y logros que se esperan con el acceso al universo de datos apuntan a ser significativamente mayores a nivel general, frente a los riesgos individuales que supone el fácil acceso a la información.

Articulo en Agency Sinapsis:

[Tienes que estar registrado y conectado para ver este vínculo]


Última edición por cristian_prado el Vie Nov 04, 2016 8:51 am, editado 1 vez

cristian_prado

Mensajes : 15
Fecha de inscripción : 22/07/2016

Ver perfil de usuario

Volver arriba Ir abajo

Re: comprendiendo "Big Data"

Mensaje por Jesus_Chambi el Vie Nov 04, 2016 8:47 am

Riesgos de Big Data.

Los principales riesgos que enfrente el Big Data son:
● Privacidad.
● Seguridad.
● Control de acceso sin impactar performance.
● Mantener el anonimato.
● Movimiento de información dentro de la empresa.
● Ciclo de vida de la información.
● La procedencia de los datos.
● Tecnologías desconocidas.

Ocho pasos para hacer frente a los riesgos.

1. Establecer prioridades con sus datos.
2. Entender lo que sucede con sus datos.
3. Sus datos son apreciados, deben estar tan seguros como corresponde.
4. Proporcionar directrices de seguridad de datos y de gobierno claras.
5. Implementar sistemas a prueba de futuro.
6. Tomar la nube en consideración.
7. Encontrar un experto en datos.
8. Finalmente, garantizar el cumplimiento de las leyes y regulaciones
pertinentes actuales.

Jesus_Chambi

Mensajes : 15
Fecha de inscripción : 22/07/2016

Ver perfil de usuario

Volver arriba Ir abajo

Re: comprendiendo "Big Data"

Mensaje por Contenido patrocinado


Contenido patrocinado


Volver arriba Ir abajo

Ver el tema anterior Ver el tema siguiente Volver arriba

- Temas similares

 
Permisos de este foro:
No puedes responder a temas en este foro.