Real Time.

Spark Streaming es uno de los módulos del core de Spark API que permite la escalabilidad, alto rendimiento y tolerancia a fallos de flujos de datos vivos. Estos datos pueden ser ingeridos desde diferentes fuentes como Kafka, Flume, Twitter, ZeroMQ, Kinesis, or sockets TCP, y pueden ser procesados usando algoritmos complejos que utilizan mapeadores y reductores, por ejemplo.

Apache Kafka es un sistema de almacenamiento publicador/subscriptor distribuido, particionado y replicado. Estas características, añadidas a que es muy rápido en lecturas y escrituras lo convierten en una herramienta excelente para comunicar streams de información que se generan a gran velocidad y que deben ser gestionados por uno o varias aplicaciones.

Durante el curso aprenderás estas dos tecnologías y podrás aprender a cómo procesar flujos de datos constantes. Se recorrerá toda la teoría y con ejercicios prácticos podrás iniciarte en este apasionante mundo del Big Data Real Time con las tecnología más innovadoras y más influyentes en este ámbito de forma sencilla y guiada por un profesor experto en la materia. Al final el curso podrás ser capaz de desarrollar aplicaciones que puedan monitorizar todo tipo de datos entrantes en Kafka y hacer procesamientos en tiempo real con Apache Spark.

Temario

• Qué es un flujo de Streaming
• Sistemas de Streaming
• Apache Spark Streamming
  • Qué es Apache Spark Streaming
  • Ventajas de Apache Spark Streaming
  • Los RDD en Apache Spark
  • Discretized Streams (DStream)
  • Creación de un DStream
  • Transformación de un DStream
  • Operaciones de persistencia (Outputs)
  • Dataframes y operaciones SQL
• Apache Kafka
  • Introducción a Kafka. Necesidades y usos
  • Instalando Kafka
  • Despliegue de un cluster Kafka. Single Node.
    • Creación de un Broker
    • Creación de un Topic
    • Generación masiva de mensajes
    • Consumición masiva de mensajes
  • Desarrollo en Java de un Producer
  • Desarrollo en Java de un Consumer
  • Integración con Hadoop
  • Ejercicios
• Integración Apache Spark y Kafka
  • Ejercicio de procesamiento Real Time e integración de estas dos herramientas

Casos prácticos

Apache Kafka

• Creación de Producer y Consumer: El alumno aprenderá mediante el lenguaje de programación Java y de forma guiada a crear un productor y consumidor de mensajes

Apache Spark. 

• Procesamiento de un flujo de datos: Los alumnos aprenderán a desplegar un programa en Spark que lea datos de una fuente de datos constante y realizar operaciones dinámicas de los mismos, obteniendo un output que será almacenado en un sistema de ficheros.
• Procesamiento de mensajes: Los alumnos aprenderán a crear programas en Spark que lean Topics de Apache Kafka que son generados en tiempo real

Fechas, horario y lugar

Actualmente no hay fechas disponibles. Mándanos un email para tenerte en lista y completar un grupo para poder organizarlo.

En caso de ser empresa te ayudamos a organizarlo a medida para tus empleados o compañeros.

Responsabilidades profesor

Presentar el contenido conforme lo presentado en el programa de formación
Proyecto en Github para clonar
Dar acceso al material necesario (PDFs, ejercicios, software, etcs) para el curso contratado.
Proveer de local para impartir la formación

Responsabilidades alumno

Participar en la formación en el periodo determinado, trayendo un notebook con los requisitos mínimos necesarios para la participación en la formación, siendo estos los siguientes:
Mínimo de 4GB de memoria RAM
Mínimo de 10GB de espacio en disco (HD).
Habilitada la virtualización tanto en software como hardware
Poseer privilegios de administración

Observaciones importantes

Confirmaciones
Las confirmaciones serán enviadas a la dirección de e-mail enviada por el alumno

Cancelaciones
Los plazos para el cancelamiento de inscripciones solicitadas, son de 5 días laborales antes del inicio del curso.
En caso de cancelamiento fuera de plazo por parte del alumno, DevAcademy se reserva el derecho a cobrar un porcentaje (20%) del valor del curso.
DevAcademy se reserva el derecho de cancelar o posponer la formación, siempre y cuando avise al contratante y/o devuelva el importe íntegro en caso de cancelación

Obligaciones del alumno
Es obligatorio que el alumno cumpla con todos las obligaciones recomendadas por el profesor para seguir todos los ejercicios y no demorar ni perjudicar la clase. Es posible que días antes se envie un email como recordatorio al alumno con instrucciones a seguir u obligaciones desarrollar para poder estar preparado al comienzo de la clase.