Big Data: Análisis y visualización de datos Real Time con Kafka y Druid
Con este curso aprenderás un set de tecnologías Big Data que permiten el análisis de datos y su visualización en Real Time y de forma escalable. Además, el alumno aprenderá una breve introducción a Kafka, aprendiendo con ello qué es Kafka y la creación de Brokers y topics tanto en modo single node como en cluster .
- ¿Qué es Druid ?
- ¿Qué son las bases de datos de lineas temporales ?
- ¿Qué alternativas existen en el mercado ?.
El alumno también aprenderá a configurar Druid para poder procesar los datos en Real Time para poder consultar estos datos .
Además, se aprenderá la configuración y conexión de herramientas de visualización para Druid , estas herramientas serán Grafana y Panoramix , siendo esta última la más preparada y la que más opciones aporta para la visualización de datos con Druid.
Temario
- ¿Qué es Kafka ?
- ¿Instalación y configuración de Kafka?
- Creación de Topics y brokers en Kafka .
- Hola Mundo con Kafka. Uso de productores y consumidores
- ¿Qué son las Bases de datos de lineas temporales ?
- ¿Por qué Druid?
- ¿Instalación y configuración de Druid?
- Conectividad de Druid con Kafka .
- Práctica 1: Wikipedia Dataset Real Time
- Instalación y configuración de Panoramix.
- Visualización de datos con Panoramix .
- Práctica 2: Ingesta de ficheros Real Time
Casos prácticos
- Ingesta de datos en Real Time de Wikipedia o Twitter : Consumo/proceso de datos desde Kafka desde Wikipedia y Twitter para su consumo desde Druid y visualización de estadísticas y gráficas en Real Time desde las herramientas de visualización.
- Ingesta de logs en Real Time y visualización: Ingesta de datos Real Time en local para la monitorización de los diferentes logs del sistema y la creación de dashboard para su visualización , en este ejemplo no se pasará por Kafka sino que se consumirá directamente desde Druid .
- Publicación de mensajes y análisis: Publicación de mensajes de ejemplos en Kafka con Jmeter simulando los logs de un apache e ingesta de los mensajes con Druid para su posterior visualización en Dashboards para el control de la salud de nuestro servidor.
Responsabilidades profesor
Presentará el contenido conforme lo presentado en el programa de formación.
Además, dará acceso al material necesario (PDFs, ejercicios, software, etcs) para el curso contratado.
Por último, proveerá de local para impartir la formación.
Responsabilidades alumno
Participará en la formación en el periodo determinado, trayendo un notebook con los requisitos mínimos necesarios para la participación en la formación, siendo estos los siguientes:
Mínimo de 4GB de memoria RAM
Mínimo de 10GB de espacio en disco (HD).
Tendrá que tener habilitada la virtualización tanto en software como hardware
Por último, poseerá privilegios de administración
Observaciones importantes
Confirmaciones
Las confirmaciones serán enviadas a la dirección de e-mail enviada por el alumno
Cancelaciones
Los plazos para la cancelación de inscripciones solicitadas, son de 5 días laborales antes del inicio del curso.
Asimismo, en caso de cancelación fuera de plazo por parte del alumno, DevAcademy se reserva el derecho a cobrar un porcentaje (20%) del valor del curso.
Por último, DevAcademy se reserva el derecho de cancelar o posponer la formación, siempre y cuando avise al contratante y/o devuelva el importe íntegro en caso de cancelación
Obligaciones del alumno
Por útlimo, es obligatorio que el alumno cumpla con todos las obligaciones recomendadas por el profesor para seguir todos los ejercicios y no demorar ni perjudicar la clase. Además, es posible que días antes se envíe un email como recordatorio al alumno con instrucciones a seguir u obligaciones desarrollar para poder estar preparado al comienzo de la clase.
