• 687374918
  • info@devacademy.es

Programa práctico en Desarrollo Big Data con Apache Spark

Detalle del plan de formación

El Big data es una de las áreas innovadoras del software y procesamiento de datos y en completo crecimiento desde hace muy pocos años, donde el objetivo es procesar todos los datos con el fin de transformarlos en información y así generar conocimiento.

La gran mayoría de los proyectos de Big Data disponen de un stack tecnológico donde no suelen faltar tecnologías innovadoras tanto en la parte de ingestión, almacenamiento y procesamiento. La tecnología más demandada en los proyectos es Apache Spark, pues casi el 80% de los mismos buscan el ingestar, limpiar, transformar y procesar los datos, y esta herramienta es la más socorrida por todos los equipos Big Data.

Spark es una plataforma de computación de código abierto para análisis y procesos avanzados, que tiene muchas ventajas sobre Hadoop. Desde el principio, Spark fue diseñado para soportar en memoria algoritmos iterativos que se pudiesen desarrollar sin escribir un conjunto de resultados cada vez que se procesaba un dato.

Este curso busca facilitar el inicio y aprendizaje de la herramienta en los dos puntos clave: procesamiento Batch y procesamiento Real Time, así como conceptos básicos e importantes de Spark. Se enseñarán las mejores prácticas que podrás usar en tus desarrollos para procesamiento de grandes volúmenes de datos

Temario

Breve introducción al Big Data 

  • Qué es BigData
  • Ecosistema de tecnologías Big Data y visión global

Introducción a Apache Spark

Procesamiento de datos en Batch

  • Conceptos de procesamiento Batch
  • Tecnologías procesamiento Batch
    • Apache Hadoop
      • Hadoop HDFS
      • Hadoop Map Reduce
      • Ejercicios prácticos
    • Apache Spark
  • Apache Spark a fondo
    • RDD’s
      • Creación
      • Operaciones (Tranformaciones, acciones, evaluación lazy)
      • Persistencia
    • Carga y exportación de datos
      • Formatos de fichero
      • Sistema de fichero
    • Ejecución en cluster
      • Driver y sus ejecutores
      • Cluster manager
      • Despliegue con spark-submit
    • Ejercicios con Spark para asentar las bases
    • Spark SQL
      • Ejercicios prácticos
    • Apache Spark R

Procesamiento de datos en Real Time

  • Conceptos de procesamiento Real Time
  • Tecnologías procesamiento Real Time
    • Storm
    • Apache Flink
    • Apache Spark
    • Kafka
    • Flume
  • Apache Spark a fondo
    • Discretized Streams (DStream)
    • Creación de un DStream
    • Transformación de un DStream
    • Operaciones SQL en Real Time

 

Casos prácticos

Durante las sesiones de trabajo, los alumnos aprenderán diferentes ejercicios guiados para probar e introducir la tecnología de forma sencilla. Además, serán propuestos diferentes casos prácticos como a continuación

Procesamiento de un flujo de datos

  • Caso práctico Batch: Los alumnos aprenderán a desplegar un programa en Spark que lea datos de una fuente de datos constante y realizar operaciones dinámicas de los mismos, obteniendo un output que será almacenado en un sistema de ficheros
  • Caso práctico Real Time: Los alumnos desarrollarán  durante las sesiones ejercicios prácticos de procesamiento distribuido en tiempo real, ya sea el histórico de logs, datos de twitter o diferentes ejemplos usando componentes que el alumno podrá reaprovechar en desarrollos profesionales.

Fechas, horario y lugar

Los cursos de DevAcademy son en horario NO LABORAL los VIERNES (16hrs – 21hrs) y SÁBADOS (9hrs-14hrs), pensado para que puedan asistir aquellos que estén trabajando.

Fechas: 02/02 – 03/02, 09/02 – 10/02 y 16/02 – 17/02 de 2018

El curso tendrá lugar en las aulas situadas en las instalaciones DevAcademy

Responsabilidades profesor y DevAcademy

 Presentar el contenido conforme lo presentado en el programa de formación
Dar acceso al material necesario (PDFs, ejercicios, software, etcs) para el curso contratado.
 Proveer de local para impartir la formación

Responsabilidades alumno

Participar en la formación en el periodo determinado, trayendo un notebook con los requisitos mínimos necesarios para la participación en la formación, siendo estos los siguientes:
 Mínimo de 8GB de memoria RAM
 Mínimo de 10GB de espacio en disco (HD).
 Habilitada la virtualización tanto en software como hardware
 Poseer privilegios de administración

Observaciones importantes

Confirmaciones
Las confirmaciones serán enviadas a la dirección de e-mail enviada por el alumno

Cancelaciones
Los plazos para el cancelamiento de inscripciones solicitadas, son de 5 días laborales antes del inicio del curso.
En caso de cancelamiento fuera de plazo por parte del alumno, DevAcademy se reserva el derecho a cobrar un porcentaje (20%) del valor del curso.
DevAcademy se reserva el derecho de cancelar o posponer la formación, siempre y cuando avise al contratante y/o devuelva el importe íntegro en caso de cancelación

Obligaciones del alumno
Es obligatorio que el alumno cumpla con todos las obligaciones recomendadas por el profesor para seguir todos los ejercicios y no demorar ni perjudicar la clase. Es posible que días antes se envie un email como recordatorio al alumno con instrucciones a seguir u obligaciones desarrollar para poder estar preparado al comienzo de la clase.



DevAcademy 2016 - info@devacademy.es - Telf: 687374918