Cada vez va tomando mas importancia todos los temas relacionados con el BigData.
En el canal de Youtube he subido tres videos dedicados al desarrollo BigData con Spark.
Son vídeos muy básicos para poder hacerse una idea de los que supone desarrollar una aplicación BigData con Spark.
En el primer video se cubre la parte de instalación de las herramientas necesarias, siendo estas la máquina virtual de Java, el JBoss Developer Studio y las dependencias necesarias para desarrollar el proyecto con Maven.
El segundo video trata sobre la instalación del sistema de ficheros distribuido HDFS. Este sistema de ficheros es parte de Hadoop y es el típico sistema de ficheros de las soluciones BigData.
Y por último, y quizá mas interesante ya que se ve código, es el tercero. En el que se cubren cinco ejemplos.
- Lectura de un fichero en formato csv y escritura del mismo en formato JSON
- Filtrado de datos utilizando select, si selects de SQL
- Filtrado de datos utilizando el API de Spark
- Escritura de datos en ElasticSearch
- Escritura de datos en HDFS