A raíz del rápido crecimiento de datos que existe hoy en día en las instituciones académicas surge este proyecto, el cual, parte de la implementación de servicios de Big Data en la Universidad Central “Marta Abreu” de las Villas. El objetivo principal de este trabajo es compartir la metodología de desarrollo utilizada en el entorno de instalación, gestión y administración de la infraestructura de Big Data bajo la filosofía DevOps.
En este trabajo se presenta las siguientes herramientas: - API Blueprint, un poderoso lenguaje de descripción de API de alto nivel para APIs web. - Hortonworks Data Plataform (HDP), una infraestructura de código abierto de Apache ™ Hadoop® basada en una arquitectura centralizada (YARN). - HDP satisface las necesidades completas de los datos en reposo, potencia las aplicaciones de clientes en tiempo real y ofrece análisis de datos grandes y robustos que aceleran la toma de decisiones y la innovación. Apache Ambari, una plataforma de código abierto para proveer, administrar y monitorear frameworks de computación de clústeres basados en Hadoop.
Con el uso de estas herramientas se automatiza la instalación de HDP en un cluster multinodo usando Ambari Blueprints. Los resultados que se obtienes de este proyecto se enfocan en premisas tales como: la comunicación, colaboración, integración continua, garantía de calidad y entrega con despliegue automatizado. Las cuales rompen con complejas barreras que existen entre diferentes roles de un mismo equipo de trabajo.