No, este post no va sobre la canción de Medina Azahara sino de comparar un par de librerías para lectura y procesamiento de datos. A saber, polars escrita en Rust y con api en python versus vroom en combinación con librerías como data.table o collapse en R. Estas últimas usan por debajo C++, así que tanto por el lado de python como por el de R el principal mérito se debe a usar Rust y C++.
Datos, hardware y entornos
Para hacer la comparación vamos a usar un dataset de 100 millones de filas y 9 columnas, el mismo que se usa en h2o.ai db-benchmark.
Lo voy a probar en mi pc, que es un slimbook de justo antes de la pandemia, con 1gb de ssd, 32Gb de RAM y procesador Intel i7-9750H (12) @ 4.500GHz con 6 núcleos (12 hilos) y corriendo Linux Mint 20.
R
Para R voy a chequear vroom y data.table para leer los datos y data.table, tidytable y collapse para el procesamiento
R: Uso R version 4.2.1 (2022-06-23) – “Funny-Looking Kid” vroom: 1.5.7 data.table: 1.14.2 tidytable: 0.8.1.9 collapse: 1.8.8
Python
Uso un entorno de conda con python 3.6.12 polars: ‘0.12.5’
Scripts
R
En R voy a usar microbenchmark para realizar varias ejecuciones
Fichero: tests.R
library(tidyverse)
library(data.table)
library(collapse)
library(vroom)
library(tidytable)
library(microbenchmark)
# Check lectu
setDTthreads(0L)
lectura <- microbenchmark(
vroom = vroom::vroom("/home/jose/Rstudio_projects/db-benchmark/data/G1_1e8_1e1_5_1.csv", show_col_types = FALSE),
data.table = data.table::fread("/home/jose/Rstudio_projects/db-benchmark/data/G1_1e8_1e1_5_1.csv"),
times = 3L
)
print(lectura)
# group by sum
x <- vroom::vroom("/home/jose/Rstudio_projects/db-benchmark/data/G1_1e8_1e1_5_1.csv", show_col_types = FALSE)
# x= sample_frac(x, size = 0.1)
x_dt <- qDT(x)
group_by_performance <- microbenchmark(
data.table = x_dt[, lapply(.SD, mean, na.rm = TRUE), keyby = id1, .SDcols = 7:9],
# dplyr = x %>%
# group_by(id1, id2) %>%
# summarise(v1 = sum(v1, na.rm = TRUE)) %>%
# ungroup(),
tidytable = x_dt %>%
summarize.(v1 = sum(v1),
v2 = sum(v2),
v3 = sum(v3),
.by = c(id1, id2)),
# base_R = tapply(x$v1, list(x$id1, x$id2), sum, na.rm = TRUE),
collapse= x_dt %>%
fgroup_by(id1, id2) %>%
fsummarise(v1 = fsum(v1),
v2 = fsum(v2),
v3 = fsum(v3)),
collapse_pure = {
g <- GRP(x, ~ id1 +id2)
fsum(x$v1, g)
fsum(x$v2, g)
},
times = 5L
)
print(group_by_performance)
Python
Fichero: tests.py
import polars as pl
import time
start = time.time()
df = pl.read_csv("/home/jose/Rstudio_projects/db-benchmark/data/G1_1e8_1e1_5_1.csv")
end = time.time()
print(end -start)
start = time.time()
(
df
.lazy()
.groupby(['id1','id2'])
.agg(
[
pl.col("v1").sum().alias('v1_sum'),
pl.col("v2").sum().alias('v2_sum'),
pl.col("v3").sum().alias('v3_sum')
]
)
.collect()
)
end = time.time()
print(end - start)
Resultados
Para comparar, ejecuto los scripts desde consola y teniendo cerrado navegadores, ides y demás.
R
Rscript tests.R
Lectura en R
Unit: seconds
expr min lq mean median uq max neval
vroom 7.783958 7.953598 8.185716 8.123239 8.386596 8.649953 3
data.table 41.914928 42.809751 45.213309 43.704575 46.862499 50.020424 3
Group by y sum en R.
Unit: seconds
expr min lq mean median uq max neval cld
data.table 1.469617 1.476545 1.550360 1.486647 1.633409 1.685581 5 a
tidytable 1.182273 1.189111 1.291734 1.279313 1.314287 1.493686 5 a
collapse 1.799175 1.813744 6.255215 1.891603 2.076616 23.694936 5 a
collapse_pure 1.553002 1.555598 1.570758 1.566454 1.571605 1.607132 5 a
Por lo que más o menos, usar vroom para leer y tidytable, data.table o collapse para hacer el cálculo sale por unos 10 segundos o un poco menos.
Python
python tests.py
7.755492448806763
1.8228027820587158
Y vemos que con polars tenemos más o menos los mismos tiempos.
Conclusiones
Tanto en R como en Python tenemos librerías muy rápidas que , si tenemos suficiente RAM podemos trabajar con conjunto de datos bastante tochos y hacer cosas en tiempos más que razonables.
Polars es una librería muy nueva y muy bien hecha, ojalá hagan api para R. No obstante, data.table lleva tiempo en R y su desempeño es consistente en múltiples situaciones. Mi consejo es echarle un ojo al fastverse.
comments powered by Disqus