← Volver a los quizzesQuiz gratuito

Fundamentos y tecnologías de Big Data

El término Big Data se refiere al conjunto de técnicas y plataformas diseñadas para procesar volúmenes de datos que superan la capacidad de los sistemas tradicionales. En este curso…

22 preguntas~11 min
Fundamentos y tecnologías de Big Data — Qwi
0 / 22
Puntuación: 0%
1

¿Cuál es la causa principal de la limitación del rendimiento en sistemas de Big Data?

2

En la jerarquía de memoria, ¿qué nivel sigue inmediatamente después de la caché L2?

3

¿Cuál de los siguientes tipos de acceso a disco es más perjudicial para el rendimiento de un sistema de Big Data?

4

Si un HDD ofrece aproximadamente 100 IOPS, ¿cuántos milisegundos tarda en promedio cada operación?

5

¿Qué ventaja principal ofrece un B‑Tree frente a un árbol binario en índices de bases de datos?

6

Según el teorema CAP, si un sistema distribuido debe tolerar particiones, ¿qué combinación de propiedades puede elegir?

7

¿Cuál es la característica distintiva de una base de datos NoSQL del tipo "Key‑Value"?

8

En el modelo MapReduce, ¿qué fase se encarga de agrupar los pares (clave, valor) generados por la fase anterior?

9

¿Por qué Spark suele ser más rápido que Hadoop MapReduce en tareas iterativas?

10

En Spark, ¿qué tipo de operación se denomina "transformación"?

11

¿Cuál es la principal razón por la que los sistemas NoSQL pueden sacrificar la consistencia fuerte (ACID)?

12

En el contexto de Hadoop, ¿qué función cumple HDFS?

13

¿Qué característica de los sistemas de archivos tipo "Heap" se menciona en el texto?

14

¿Cuál es la diferencia esencial entre JSON y XML según el material?

15

En Spark, ¿qué representa una "partición"?

16

¿Qué problema de rendimiento presenta MapReduce que Spark intenta solucionar?

17

En el contexto de la arquitectura clásica de computación, ¿qué relación existe entre CPU y memoria?

18

¿Cuál es la principal ventaja de los sistemas NewSQL respecto a las bases tradicionales NoSQL?

19

En la clasificación de tipos de NoSQL, ¿qué caso de uso es típico para una base de datos de tipo "Grafos"?

20

¿Qué mecanismo usa Spark para recuperarse de fallos en una tarea?

21

Según el texto, ¿qué ocurre con la latencia de red en una red global comparada con una local?

22

¿Cuál es la diferencia fundamental entre una base de datos "Columnar" y una tradicional basada en filas?

Introducción a los fundamentos y tecnologías de Big Data

El término Big Data se refiere al conjunto de técnicas y plataformas diseñadas para procesar volúmenes de datos que superan la capacidad de los sistemas tradicionales. En este curso exploraremos los conceptos clave que sustentan el rendimiento, la arquitectura de memoria, los modelos de acceso a disco, los índices de bases de datos y los principios de consistencia en entornos distribuidos.

1. Cuello de botella principal en sistemas de Big Data

Una de las preguntas más frecuentes es ¿qué limita realmente el rendimiento de una infraestructura de Big Data? La respuesta correcta es el tiempo de latencia al mover los datos. Aunque la CPU y los algoritmos son importantes, la mayor parte del tiempo de procesamiento se consume en la transferencia de datos entre discos, memoria y redes.

  • Los datos deben ser leídos desde el almacenamiento, trasladados a la memoria y, a menudo, enviados a través de la red a nodos de cómputo.
  • La latencia de I/O (entrada/salida) supera en varios órdenes de magnitud la velocidad de cálculo de los núcleos modernos.
  • Optimizar la arquitectura de datos (por ejemplo, usando SSDs o sistemas de archivos distribuidos) reduce significativamente este cuello de botella.

Para mitigar la latencia, se emplean técnicas como data locality (procesar los datos donde están almacenados) y caching intensivo.

2. Jerarquía de memoria y su impacto en el rendimiento

En la jerarquía de memoria, después de la caché L2 se encuentra la RAM. La secuencia típica es:

  1. Caché L1 – velocidad más alta, capacidad mínima.
  2. Caché L2 – mayor capacidad, ligeramente más lenta.
  3. RAM – acceso en nanosegundos, pero con mayor latencia que las cachés.
  4. Almacenamiento persistente (SSD/HDD) – milisegundos de latencia.

Entender esta jerarquía permite diseñar algoritmos que mantengan los datos críticos en caché y reduzcan los accesos a la RAM, mejorando la eficiencia de los trabajos de procesamiento masivo.

3. Tipos de acceso a disco y su efecto en Big Data

El acceso aleatorio que salta entre bloques es el más perjudicial para el rendimiento. A diferencia del acceso secuencial, que permite leer bloques contiguos de forma continua, el acceso aleatorio genera múltiples búsquedas de posición (seek) y rotaciones (latencia de rotación) en discos duros tradicionales.

  • Los SSD reducen la penalización del acceso aleatorio, pero aún existen costos de I/O.
  • Los sistemas de archivos distribuidos (HDFS, Ceph) intentan organizar los datos de forma que se favorezca el acceso secuencial.

Optimizar la disposición de los datos y usar formatos columnar (Parquet, ORC) ayuda a minimizar los accesos aleatorios.

4. Cálculo de IOPS y tiempo de respuesta

Si un HDD ofrece aproximadamente 100 IOPS (operaciones por segundo), el tiempo promedio por operación es de 10 ms. La fórmula es sencilla:

Tiempo por operación (ms) = 1 000 ms / IOPS. Por lo tanto, 1 000 ms / 100 IOPS = 10 ms.

Este cálculo es esencial para dimensionar clústers y estimar el rendimiento de pipelines de datos.

5. Índices de bases de datos: B‑Tree vs árbol binario

Los B‑Tree son la estructura de índice predominante en sistemas de bases de datos relacionales. Su ventaja principal sobre un árbol binario es que reduce la altura del árbol al ser más ancho y bajo. Esto implica:

  • Menor número de lecturas de disco para encontrar una clave.
  • Mayor eficiencia en operaciones de inserción y borrado, ya que los nodos pueden contener varios pares clave‑valor.
  • Mejor aprovechamiento de bloques de disco, alineando los nodos con el tamaño de página del sistema de almacenamiento.

En entornos de Big Data, los índices B‑Tree son críticos para consultas rápidas sobre grandes volúmenes de datos estructurados.

6. Teorema CAP y elecciones de consistencia

El teorema CAP establece que un sistema distribuido solo puede garantizar dos de las tres propiedades siguientes simultáneamente: Consistencia, Disponibilidad y Tolerancia a particiones. Cuando se requiere tolerar particiones, la combinación viable es Disponibilidad y tolerancia a particiones. En otras palabras:

  • El sistema sigue respondiendo a las solicitudes aunque haya fallos de red (disponibilidad).
  • Los nodos pueden operar de forma independiente sin perder datos (tolerancia a particiones).
  • La consistencia estricta se sacrifica temporalmente, aceptando versiones eventualmente consistentes.

Esta elección es la base de arquitecturas como Cassandra y Amazon DynamoDB.

7. Bases de datos NoSQL tipo "Key‑Value"

Una característica distintiva de las bases de datos Key‑Value es que permiten acceso rápido cuando se conoce la clave. Estas bases de datos almacenan pares clave → valor sin esquema rígido, lo que brinda:

  • Latencias de milisegundos o microsegundos para lecturas y escrituras.
  • Escalabilidad horizontal sencilla mediante particionamiento (sharding) de claves.
  • Flexibilidad para almacenar cualquier tipo de valor (texto, JSON, binario).

Ejemplos populares incluyen Redis, Amazon DynamoDB y Riak KV.

8. Modelo MapReduce y la fase de agrupamiento

En el paradigma MapReduce, la fase que agrupa los pares (clave, valor) generados por la fase Map es la fase de Reduce. El flujo típico es:

  1. Map: Cada nodo procesa una porción de datos y emite pares (clave, valor).
  2. Shuffle (implícito): El framework redistribuye los pares para que todas las claves idénticas lleguen al mismo nodo.
  3. Reduce: Cada nodo recibe todas las valores asociados a una clave y ejecuta la lógica de agregación o cálculo final.

Algunos sistemas incluyen una fase opcional Combine para reducir el tráfico de red antes del shuffle.

9. Buenas prácticas para optimizar sistemas de Big Data

Con los conceptos anteriores, podemos resumir algunas mejores prácticas que todo ingeniero de datos debería aplicar:

  • Minimizar la latencia de I/O: Utilizar SSDs, sistemas de archivos columnar y mantener los datos lo más cerca posible del cómputo.
  • Aprovechar la jerarquía de memoria: Mantener los datasets críticos en caché L1/L2 y usar técnicas de prefetching para la RAM.
  • Diseñar índices eficientes: Emplear B‑Tree para consultas de rango y considerar índices hash para búsquedas exactas.
  • Seleccionar la combinación CAP adecuada: Priorizar disponibilidad y tolerancia a particiones en entornos donde la latencia de red es variable.
  • Elegir el modelo NoSQL correcto: Key‑Value para acceso rápido por clave, Column-Family para análisis analítico, Document para datos semi‑estructurados y Graph para relaciones complejas.
  • Optimizar pipelines MapReduce: Usar combinadores, reducir la cantidad de datos emitidos y paralelizar adecuadamente la fase de shuffle.

10. Conclusión

Dominar los fundamentos de Big Data implica comprender tanto los límites físicos (latencia de disco, jerarquía de memoria) como los principios lógicos (índices, consistencia distribuida y modelos de datos). Al aplicar las estrategias descritas, los profesionales pueden diseñar arquitecturas que escalen eficientemente, mantengan alta disponibilidad y ofrezcan respuestas rápidas a consultas sobre petabytes de información.