3 claves para evitar convertir su lago de datos en un pantano

3 claves para evitar convertir su lago de datos en un pantano

CIO

Durante años, impulsado por tecnologías como Apache Hadoop, las organizaciones han estado buscando construir lagos de datos – plataformas de administración de datos para toda la empresa que les permitan almacenar todos sus datos en su formato nativo.

Los lagos de datos prometen romper los silos de información al proporcionar un único repositorio de datos que toda la organización puede utilizar para todo, desde análisis de negocio hasta minería de datos. Raw y ungoverned, los lagos de datos se han lanzado como una gran captura de datos y todo el curar. Pero Avi Pérez, director de tecnología de Business Intelligence (BI), especialista en software Pyramid Analytics, dice que ve a muchos clientes y prospectos cuyos lagos de datos se están deteriorando en pantanos de datos: repositorios masivos de datos completamente inaccesibles para los usuarios finales.

“Las bases de datos son realmente caras. Los lagos de datos, y todas las grandes iniciativas de datos, provienen de una, la presión en el mercado para tener uno, y en segundo lugar, los generadores de datos del mundo real escupiendo gobs de datos que usted necesita para encontrar un Manera de almacenar””, dijo Pérez.

Pero mientras que varias de las compañías más exitosas del mundo han construido negocios alrededor de sus lagos de datos (Google es un buen ejemplo), muchos otros están recopilando datos sin ninguna manera clara de obtener valor de ella.

Para el director de tecnología sólo acumulan polvo, y que por ende solo estás coleccionando, creo que van a ser abandonado en un corto plazo y finalmente vas a cortar el presupuesto para cosas que son grandes y caras y no hacen nada. Eso no quiere decir que la idea detrás de los lagos de datos sea mala. Pérez está convencido de que todas las empresas lo necesitarán eventualmente.

Sin embargo, la creación de un lago de datos que sus usuarios finales pueden beneficiarse de requiere deliberación. Para evitar ahogarse en su propio lago de datos, Pérez recomienda adoptar tres principios.

También: ¿Cómo transformar la operación IT con grandes volúmenes de datos?

1. Recoger menos datos, al menos al principio

Uno de los mayores errores cometidos por las organizaciones es recolectar demasiados datos, simplemente porque pueden hacerlo. Considere su teléfono inteligente. Si usted es dueño de uno, es probable que haya cientos o más imágenes almacenadas en él.

“Usted termina con un billón de fotos en su teléfono, y sin embargo, el 99 por ciento de ellos son probablemente la basura que se deshacerse de un latido del corazón. Es tan fácil tomar fotos con tu teléfono, es esencialmente gratis. Y probablemente pienses:” Un día voy a ir a limpiarlo “, pero por supuesto que nadie lo hace nunca”, manifestó. 

Información, pero usted no tiene ninguna manera de trabajar su manera a través de él para utilizarla con eficacia. 
Cuando inevitablemente desea mostrar a alguien una fotografía en particular, encontrarla puede requerir desplazamiento a través de un enorme volumen de basura.

Lo mismo sucede con los lagos de datos. Almacenar datos en Hadoop es bastante barato que a menudo se considera libre. Sin embargo, el gran volumen de datos que se acumula puede dificultar el acceso efectivo a los datos que podrían proporcionarle información valiosa.

“Pienso que la forma de evitarlo es en realidad girar la salida de la espita, bajando”, recomendó Pérez. 

Acompañado a ese consejo se debe rabajar en la presunción de que sólo porque es barato para recopilar los datos no necesariamente hacer barato para usarlo. En realidad, podría ser bastante caro. Por lo tanto, no la recopilación de información de todas partes y todo el tiempo. Mantener centrado con un dato Establecer dónde tienes un plan específico de cómo vas a minarla”.

También: ¿Qué se debe tomar en cuenta para almacenar los datos de los clientes?

2. Adoptar una estrategia de aprendizaje de la máquina

Incluso con un conjunto de datos centrado, la penetración de datos a escala requiere automatización.

De acuerdo con el CIO se necesita un sistema automatizado para limpiarlo. AI, el aprendizaje de máquina, el aprendizaje profundo, cualquier término que desee utilizar, es la solución mágica para vadear su camino a través de su información.

E impulsa, además, a utilizar la manera más fácil de obtener el valor de su lago de datos 5PB enorme es comenzar con tener Una técnica para cómo vas a aprender de ella.

Para empezar, dice Pérez, elija un conjunto de datos que conozca y seleccione una técnica de aprendizaje automático para pasar por él. Es probable que tenga que adquirir nuevas habilidades para hacerlo eficazmente, ya sea a través de la formación o contratación.

“El aprendizaje automático es un arte negro. No es fácil de hacer, se necesitan habilidades muy específicas”, complementó. 

También: ¿Cómo diseñar un centro de datos exitoso?

3. Determine el problema empresarial que intenta solucionar

Aquí es donde todo viene círculo completo: Usted necesita comenzar con una visión clara del problema del negocio que usted está intentando solucionar. Con un objetivo en mente, debe ser relativamente fácil de cero en los datos que necesita para recopilar y la mejor técnica de aprendizaje de la máquina para recoger información de los datos.

Un ejemplo, en concreto es imaginarse que eres un gran minorista. Usted puede decidir que desea entender qué tipo de clientes están entrando en sus tiendas. Puede capturar fotografías de clientes que ingresan a sus tiendas y luego usar una red neuronal complicada (CNN) – un tipo de red neuronal de aprendizaje profundo que sobresale en problemas de visión por computadora – para procesar las imágenes. La CNN podría determinar si una imagen individual es masculina o femenina, un niño o un adulto, un niño y un adulto, un joven y una persona de edad avanzada, etc.

En este punto en particular, puntualizó que una vez que hayas hecho todo eso, debe catapultarlo con una iniciativa empresarial y dé esa capacidad a los usuarios de su negocio. 

Luego que se haya creado una capacidad con una iniciativa empresarial en mente, a menudo es posible iterar en esa capacidad para proporcionar al negocio con soluciones aún más específicas. Por ejemplo, una vez que usted puede identificar quién está entrando en sus almacenes, usted puede aplicar esa misma capacidad para determinar quién está caminando más allá de sus contadores de los cosméticos.

Leave a comment

Send a Comment

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *