.Rhistory

# cargo las librerias que necesito
require("data.table")
require("rpart")
require("rpart.plot")
# Aqui se debe poner la carpeta de la materia de SU computadora local
setwd(".") # Establezco el Working Directory
# cargo el dataset que tiene la clase calculada !
dataset <- fread("./datasets/competencia_01.csv")
dtrain <- dataset[foto_mes <= 202104] # defino donde voy a entrenar
dapply <- dataset[foto_mes == 202106] # defino donde voy a aplicar el modelo
# genero el modelo,  aqui se construye el arbol
# quiero predecir clase_ternaria a partir de el resto de las variables
modelo <- rpart(
formula = "clase_ternaria ~ .",
data = dtrain, # los datos donde voy a entrenar
xval = 0,
cp = -1, # esto significa no limitar la complejidad de los splits
minsplit = 250, # minima cantidad de registros para que se haga el split
minbucket = 100, # tamaño minimo de una hoja
maxdepth = 7  # profundidad maxima del arbol
)
# grafico el arbol
prp(modelo,
extra = 101, digits = -5,
branch = 1, type = 4, varlen = 0, faclen = 0
)
# aplico el modelo a los datos nuevos
prediccion <- predict(
object = modelo,
newdata = dapply,
type = "prob"
)
# agrego a dapply una columna nueva que es la probabilidad de BAJA+2
dapply[, prob_baja2 := prediccion[, "BAJA+2"]]
# solo le envio estimulo a los registros
#  con probabilidad de BAJA+2 mayor  a  1/40
dapply[, Predicted := as.numeric(prob_baja2 > 1 / 40)]
# genero el archivo para Kaggle
# primero creo la carpeta donde va el experimento
dir.create("./exp/")
dir.create("./exp/KA2001")
# solo los campos para Kaggle
fwrite(dapply[, list(numero_de_cliente, Predicted)],
file = "./exp/KA2001/K101_001_z101.csv",
sep = ","
)
Sys.getenv("semillas")
str2expression(Sys.getenv("semillas"))
str2lang(Sys.getenv("semillas"))
a <- str2lang(Sys.getenv("semillas"))
a
rm(a)
Sys.getenv("semillas")
eval(Sys.getenv("semillas"))
eval(parse("semillas"))
parse(Sys.getenv("semillas"))
eval(parse(Sys.getenv("semillas")))
parse(Sys.getenv("semillas"))
eval(parse(Sys.getenv("semillas")))
eval(parse(text="5+5"))
eval(parse(text = Sys.getenv("semillas")))
parse(text = Sys.getenv("semillas"))
semillas <- eval(parse(text = Sys.getenv("semillas")))
rm(list = ls()) # Borro todos los objetos
gc() # Garbage Collection
require("data.table")
require("rpart")
semillas <- eval(parse(text = Sys.getenv("semillas")))
PARAM <- list()
PARAM$semilla <- semillas[1]
PARAM$training_pct <- 70L  # entre  1L y 99L
PARAM$rpart <- list (
"cp" = -1, # complejidad minima
"minsplit" = 250, # minima cantidad de regs en un nodo para hacer el split
"minbucket" = 100, # minima cantidad de regs en una hoja
"maxdepth" = 7 # profundidad máxima del arbol
)
particionar <- function(
data, division, agrupa = "",
campo = "fold", start = 1, seed = NA) {
if (!is.na(seed)) set.seed(seed)
bloque <- unlist(mapply(function(x, y) {
rep(y, x)
}, division, seq(from = start, length.out = length(division))))
data[, (campo) := sample(rep(bloque, ceiling(.N / length(bloque))))[1:.N],
by = agrupa
]
}
# cargo el dataset
dataset <- fread("./datasets/competencia_01.csv")
# trabajo, por ahora, solo con 202104
dataset <- dataset[foto_mes==202104]
# particiono estratificadamente el dataset 70%, 30%
particionar(dataset,
division = c(PARAM$training_pct, 100L -PARAM$training_pct),
agrupa = "clase_ternaria",
seed = PARAM$semilla # aqui se usa SU semilla
)
# genero el modelo
# quiero predecir clase_ternaria a partir del resto
# fold==1  es training,  el 70% de los datos
modelo <- rpart("clase_ternaria ~ .",
data = dataset[fold == 1],
xval = 0,
control = PARAM$rpart # aqui van los parametros
)
# aplico el modelo a los datos de testing
prediccion <- predict(modelo, # el modelo que genere recien
dataset[fold == 2], # fold==2  es testing, el 30% de los datos
type = "prob"
) # type= "prob"  es que devuelva la probabilidad
# agrego una columna que es la de las ganancias
dataset[, ganancia := ifelse(clase_ternaria == "BAJA+2", 273000, -7000)]
# para testing agrego la probabilidad
dataset[fold == 2, prob_baja2 := prediccion[, "BAJA+2"]]
# calculo la ganancia en testing  qu es fold==2
ganancia_test <- dataset[fold == 2 & prob_baja2 > 0.025, sum(ganancia)]
# escalo la ganancia como si fuera todo el dataset
ganancia_test_normalizada <- ganancia_test / (( 100 - PARAM$training_pct ) / 100 )
estimulos <- dataset[fold == 2 & prob_baja2 > 0.025, .N]
aciertos <- dataset[fold == 2 & prob_baja2 > 0.025 & clase_ternaria == "BAJA+2", .N]
cat("Testing total: ", dataset[fold == 2, .N], "\n")
cat("Testing BAJA+2: ", dataset[fold == 2 & clase_ternaria == "BAJA+2", .N], "\n")
cat("Estimulos: ", estimulos, "\n")
cat("Aciertos (BAJA+2): ", aciertos, "\n")
cat("Ganancia en testing (normalizada): ", ganancia_test_normalizada, "\n")
semillas <- eval(parse(text = Sys.getenv("semillas")))
PARAM <- list()
PARAM$semilla <- semillas[1]
PARAM$training_pct <- 70L  # entre  1L y 99L
PARAM$rpart <- list (
"cp" = -1, # complejidad minima
"minsplit" = 700, # minima cantidad de regs en un nodo para hacer el split
"minbucket" = 350, # minima cantidad de regs en una hoja
"maxdepth" = 8 # profundidad máxima del arbol
)
#------------------------------------------------------------------------------
# particionar agrega una columna llamada fold a un dataset
#  que consiste en una particion estratificada segun agrupa
# particionar( data=dataset, division=c(70,30),
#  agrupa=clase_ternaria, seed=semilla)   crea una particion 70, 30
particionar <- function(
data, division, agrupa = "",
campo = "fold", start = 1, seed = NA) {
if (!is.na(seed)) set.seed(seed)
bloque <- unlist(mapply(function(x, y) {
rep(y, x)
}, division, seq(from = start, length.out = length(division))))
data[, (campo) := sample(rep(bloque, ceiling(.N / length(bloque))))[1:.N],
by = agrupa
]
}
#------------------------------------------------------------------------------
#------------------------------------------------------------------------------
# Aqui comienza el programa
# Establezco el Working Directory, elija una carpeta de su
# setwd("~/buckets/b1/")
# cargo el dataset
dataset <- fread("./datasets/competencia_01.csv")
# trabajo, por ahora, solo con 202104
dataset <- dataset[foto_mes==202104]
# particiono estratificadamente el dataset 70%, 30%
particionar(dataset,
division = c(PARAM$training_pct, 100L -PARAM$training_pct),
agrupa = "clase_ternaria",
seed = PARAM$semilla # aqui se usa SU semilla
)
# genero el modelo
# quiero predecir clase_ternaria a partir del resto
# fold==1  es training,  el 70% de los datos
modelo <- rpart("clase_ternaria ~ .",
data = dataset[fold == 1],
xval = 0,
control = PARAM$rpart # aqui van los parametros
)
# aplico el modelo a los datos de testing
prediccion <- predict(modelo, # el modelo que genere recien
dataset[fold == 2], # fold==2  es testing, el 30% de los datos
type = "prob"
) # type= "prob"  es que devuelva la probabilidad
# prediccion es una matriz con TRES columnas,
#  llamadas "BAJA+1", "BAJA+2"  y "CONTINUA"
# cada columna es el vector de probabilidades
# agrego una columna que es la de las ganancias
dataset[, ganancia := ifelse(clase_ternaria == "BAJA+2", 273000, -7000)]
# para testing agrego la probabilidad
dataset[fold == 2, prob_baja2 := prediccion[, "BAJA+2"]]
# calculo la ganancia en testing  qu es fold==2
ganancia_test <- dataset[fold == 2 & prob_baja2 > 0.025, sum(ganancia)]
# escalo la ganancia como si fuera todo el dataset
ganancia_test_normalizada <- ganancia_test / (( 100 - PARAM$training_pct ) / 100 )
estimulos <- dataset[fold == 2 & prob_baja2 > 0.025, .N]
aciertos <- dataset[fold == 2 & prob_baja2 > 0.025 & clase_ternaria == "BAJA+2", .N]
cat("Testing total: ", dataset[fold == 2, .N], "\n")
cat("Testing BAJA+2: ", dataset[fold == 2 & clase_ternaria == "BAJA+2", .N], "\n")
cat("Estimulos: ", estimulos, "\n")
cat("Aciertos (BAJA+2): ", aciertos, "\n")
cat("Ganancia en testing (normalizada): ", ganancia_test_normalizada, "\n")
128450000 /112653333
rm(list = ls()) # Borro todos los objetos
gc() # Garbage Collection
require("data.table")
require("rpart")
require("parallel")
PARAM <- list()
# reemplazar por las propias semillas
PARAM$semillas <- c(102191, 200177, 410551, 552581, 892237)
semillas <- eval(parse(text = Sys.getenv("semillas")))
PARAM <- list()
# reemplazar por las propias semillas
PARAM$semillas <- semillas
PARAM$dataset_nom <- "./datasets/competencia_01.csv"
PARAM$training_pct <- 70L  # entre  1L y 99L
PARAM$rpart <- list (
"cp" = -1, # complejidad minima
"minsplit" = 700, # minima cantidad de regs en un nodo para hacer el split
"minbucket" = 350, # minima cantidad de regs en una hoja
"maxdepth" = 8 # profundidad máxima del arbol
)
particionar <- function(data, division, agrupa = "", campo = "fold", start = 1, seed = NA) {
if (!is.na(seed)) set.seed(seed)
bloque <- unlist(mapply(function(x, y) {
rep(y, x)
}, division, seq(from = start, length.out = length(division))))
data[, (campo) := sample(rep(bloque, ceiling(.N / length(bloque))))[1:.N],
by = agrupa
]
}
ArbolEstimarGanancia <- function(semilla, param_basicos) {
# particiono estratificadamente el dataset
particionar(dataset,
division = c(param_basicos$training_pct, 100L -param_basicos$training_pct),
agrupa = "clase_ternaria",
seed = semilla # aqui se usa SU semilla
)
# genero el modelo
# predecir clase_ternaria a partir del resto
modelo <- rpart("clase_ternaria ~ .",
data = dataset[fold == 1], # fold==1  es training,  el 70% de los datos
xval = 0,
control = param_basicos$rpart
) # aqui van los parametros del arbol
# aplico el modelo a los datos de testing
prediccion <- predict(modelo, # el modelo que genere recien
dataset[fold == 2], # fold==2  es testing, el 30% de los datos
type = "prob"
) # type= "prob"  es que devuelva la probabilidad
# prediccion es una matriz con TRES columnas,
#  llamadas "BAJA+1", "BAJA+2"  y "CONTINUA"
# cada columna es el vector de probabilidades
# calculo la ganancia en testing  qu es fold==2
ganancia_test <- dataset[
fold == 2,
sum(ifelse(prediccion[, "BAJA+2"] > 0.025,
ifelse(clase_ternaria == "BAJA+2", 273000, -7000),
0
))
]
# escalo la ganancia como si fuera todo el dataset
ganancia_test_normalizada <- ganancia_test / (( 100 - PARAM$training_pct ) / 100 )
return(list(
"semilla" = semilla,
"testing" = dataset[fold == 2, .N],
"testing_pos" = dataset[fold == 2 & clase_ternaria == "BAJA+2", .N],
"envios" = dataset[fold == 2, sum(prediccion[, "BAJA+2"] > 0.025)],
"aciertos" = dataset[
fold == 2,
sum(prediccion[, "BAJA+2"] > 0.025 & clase_ternaria == "BAJA+2")
],
"ganancia_test" = ganancia_test_normalizada
))
}
# Aqui se debe poner la carpeta de la computadora local
setwd("~/buckets/b1/") # Establezco el Working Directory
# Aqui se debe poner la carpeta de la computadora local
setwd(".") # Establezco el Working Directory
# cargo los datos
dataset <- fread(PARAM$dataset_nom)
# trabajo, por ahora, solo con 202104
dataset <- dataset[foto_mes==202104]
# la funcion mcmapply  llama a la funcion ArbolEstimarGanancia
#  tantas veces como valores tenga el vector  PARAM$semillas
salidas <- mcmapply(ArbolEstimarGanancia,
PARAM$semillas, # paso el vector de semillas
MoreArgs = list(PARAM), # aqui paso el segundo parametro
SIMPLIFY = FALSE,
mc.cores = detectCores()  # debe ser 1 si se trabaja con Windows
)
# la funcion mcmapply  llama a la funcion ArbolEstimarGanancia
#  tantas veces como valores tenga el vector  PARAM$semillas
salidas <- mcmapply(ArbolEstimarGanancia,
PARAM$semillas, # paso el vector de semillas
MoreArgs = list(PARAM), # aqui paso el segundo parametro
SIMPLIFY = FALSE,
mc.cores = 1  # debe ser 1 si se trabaja con Windows
)
# muestro la lista de las salidas en testing
#  para la particion realizada con cada semilla
salidas
# paso la lista a vector
tb_salida <- rbindlist(salidas)
tb_salida
# finalmente calculo la media (promedio)  de las ganancias
cat( "ganancia promedio: ", tb_salida[, mean(ganancia_test)], "\n" )
# calculo todos los promedios
cat(  "ganancia desvio estandar: ", tb_salida[, sd(ganancia_test)], "\n" )
rm(list = ls()) # Borro todos los objetos
gc() # Garbage Collection
require("data.table")
require("rpart")
require("parallel")
require("primes")
PARAM <- list()
# reemplazar por las propias semillas
PARAM$semilla_primigenia <- semilla[1]
semillas <- eval(parse(text = Sys.getenv("semillas")))
PARAM <- list()
# reemplazar por las propias semillas
PARAM$semilla_primigenia <- semilla[1]
# reemplazar por las propias semillas
PARAM$semilla_primigenia <- semillas[1]
PARAM$qsemillas <- 50
# dataset
PARAM$dataset_nom <- "./datasets/competencia_01.csv"
PARAM$training_pct <- 70L  # entre  1L y 99L
PARAM$rpart <- list (
"cp" = -1, # complejidad minima
"minsplit" = 700, # minima cantidad de regs en un nodo para hacer el split
"minbucket" = 350, # minima cantidad de regs en una hoja
"maxdepth" = 8 # profundidad máxima del arbol
)
particionar <- function(data, division, agrupa = "", campo = "fold", start = 1, seed = NA) {
if (!is.na(seed)) set.seed(seed)
bloque <- unlist(mapply(function(x, y) {
rep(y, x)
}, division, seq(from = start, length.out = length(division))))
data[, (campo) := sample(rep(bloque, ceiling(.N / length(bloque))))[1:.N],
by = agrupa
]
}
ArbolEstimarGanancia <- function(semilla, param_basicos) {
# particiono estratificadamente el dataset
particionar(dataset,
division = c(param_basicos$training_pct, 100L -param_basicos$training_pct),
agrupa = "clase_ternaria",
seed = semilla # aqui se usa SU semilla
)
# genero el modelo
# predecir clase_ternaria a partir del resto
modelo <- rpart("clase_ternaria ~ .",
data = dataset[fold == 1], # fold==1  es training,  el 70% de los datos
xval = 0,
control = param_basicos$rpart
) # aqui van los parametros del arbol
# aplico el modelo a los datos de testing
prediccion <- predict(modelo, # el modelo que genere recien
dataset[fold == 2], # fold==2  es testing, el 30% de los datos
type = "prob"
) # type= "prob"  es que devuelva la probabilidad
# prediccion es una matriz con TRES columnas,
#  llamadas "BAJA+1", "BAJA+2"  y "CONTINUA"
# cada columna es el vector de probabilidades
# calculo la ganancia en testing  qu es fold==2
ganancia_test <- dataset[
fold == 2,
sum(ifelse(prediccion[, "BAJA+2"] > 0.025,
ifelse(clase_ternaria == "BAJA+2", 273000, -7000),
0
))
]
# escalo la ganancia como si fuera todo el dataset
ganancia_test_normalizada <- ganancia_test / (( 100 - PARAM$training_pct ) / 100 )
return(list(
"semilla" = semilla,
"testing" = dataset[fold == 2, .N],
"testing_pos" = dataset[fold == 2 & clase_ternaria == "BAJA+2", .N],
"envios" = dataset[fold == 2, sum(prediccion[, "BAJA+2"] > 0.025)],
"aciertos" = dataset[
fold == 2,
sum(prediccion[, "BAJA+2"] > 0.025 & clase_ternaria == "BAJA+2")
],
"ganancia_test" = ganancia_test_normalizada
))
}
# Aqui se debe poner la carpeta de la computadora local
setwd("~/buckets/b1/") # Establezco el Working Directory
# Aqui se debe poner la carpeta de la computadora local
setwd(".") # Establezco el Working Directory
# genero numeros primos
primos <- generate_primes(min = 100000, max = 1000000)
set.seed(PARAM$semilla_primigenia) # inicializo
# me quedo con PARAM$qsemillas   semillas
PARAM$semillas <- sample(primos, PARAM$qsemillas )
# cargo los datos
dataset <- fread(PARAM$dataset_nom)
# trabajo, por ahora, solo con 202104
dataset <- dataset[foto_mes==202104]
# la funcion mcmapply  llama a la funcion ArbolEstimarGanancia
#  tantas veces como valores tenga el vector  PARAM$semillas
salidas <- mcmapply(ArbolEstimarGanancia,
PARAM$semillas, # paso el vector de semillas
MoreArgs = list(PARAM), # aqui paso el segundo parametro
SIMPLIFY = FALSE,
mc.cores = detectCores()
)
# la funcion mcmapply  llama a la funcion ArbolEstimarGanancia
#  tantas veces como valores tenga el vector  PARAM$semillas
salidas <- mcmapply(ArbolEstimarGanancia,
PARAM$semillas, # paso el vector de semillas
MoreArgs = list(PARAM), # aqui paso el segundo parametro
SIMPLIFY = FALSE,
mc.cores = 1
)
# muestro la lista de las salidas en testing
#  para la particion realizada con cada semilla
salidas
# paso la lista a vector
tb_salida <- rbindlist(salidas)
for( i in seq(10, 50, 10) )
for( i in seq(10, 50, 10) ) {
cat( i, "\t", tb_salida[ 1:i, mean(ganancia_test)], "\n" )
}
cat( "desvio : " , tb_salida[ , sd(ganancia_test) ], "\n" )
semillas <- eval(parse(text = Sys.getenv("semillas")))
semillas <- eval(parse(text = Sys.getenv("semillas")))
PARAM <- list()
# reemplazar por las propias semillas
PARAM$semilla_primigenia <- semillas[1]
PARAM$qsemillas <- 10000
# dataset
PARAM$dataset_nom <- "./datasets/competencia_01.csv"
PARAM$training_pct <- 70L  # entre  1L y 99L
PARAM$rpart <- list (
"cp" = -1, # complejidad minima
"minsplit" = 700, # minima cantidad de regs en un nodo para hacer el split
"minbucket" = 350, # minima cantidad de regs en una hoja
"maxdepth" = 8 # profundidad máxima del arbol
)
particionar <- function(data, division, agrupa = "", campo = "fold", start = 1, seed = NA) {
if (!is.na(seed)) set.seed(seed)
bloque <- unlist(mapply(function(x, y) {
rep(y, x)
}, division, seq(from = start, length.out = length(division))))
data[, (campo) := sample(rep(bloque, ceiling(.N / length(bloque))))[1:.N],
by = agrupa
]
}
ArbolEstimarGanancia <- function(semilla, param_basicos) {
# particiono estratificadamente el dataset
particionar(dataset,
division = c(param_basicos$training_pct, 100L -param_basicos$training_pct),
agrupa = "clase_ternaria",
seed = semilla # aqui se usa SU semilla
)
# genero el modelo
# predecir clase_ternaria a partir del resto
modelo <- rpart("clase_ternaria ~ .",
data = dataset[fold == 1], # fold==1  es training,  el 70% de los datos
xval = 0,
control = param_basicos$rpart
) # aqui van los parametros del arbol
# aplico el modelo a los datos de testing
prediccion <- predict(modelo, # el modelo que genere recien
dataset[fold == 2], # fold==2  es testing, el 30% de los datos
type = "prob"
) # type= "prob"  es que devuelva la probabilidad
# prediccion es una matriz con TRES columnas,
#  llamadas "BAJA+1", "BAJA+2"  y "CONTINUA"
# cada columna es el vector de probabilidades
# calculo la ganancia en testing  qu es fold==2
ganancia_test <- dataset[
fold == 2,
sum(ifelse(prediccion[, "BAJA+2"] > 0.025,
ifelse(clase_ternaria == "BAJA+2", 273000, -3000),
0
))
]
# escalo la ganancia como si fuera todo el dataset
ganancia_test_normalizada <- ganancia_test / (( 100 - PARAM$training_pct ) / 100 )
return(list(
"semilla" = semilla,
"testing" = dataset[fold == 2, .N],
"testing_pos" = dataset[fold == 2 & clase_ternaria == "BAJA+2", .N],
"envios" = dataset[fold == 2, sum(prediccion[, "BAJA+2"] > 0.025)],
"aciertos" = dataset[
fold == 2,
sum(prediccion[, "BAJA+2"] > 0.025 & clase_ternaria == "BAJA+2")
],
"ganancia_test" = ganancia_test_normalizada
))
}
# Aqui se debe poner la carpeta de la computadora local
setwd(".") # Establezco el Working Directory
# genero numeros primos
primos <- generate_primes(min = 100000, max = 1000000)
set.seed(PARAM$semilla_primigenia) # inicializo
# me quedo con PARAM$qsemillas   semillas
PARAM$semillas <- sample(primos, PARAM$qsemillas )
# cargo los datos
dataset <- fread(PARAM$dataset_nom)
# trabajo, por ahora, solo con 202104
dataset <- dataset[foto_mes==202104]
dir.create("./exp/EX2330u", showWarnings = FALSE)
setwd("./exp/EX2330u")
# la funcion mcmapply  llama a la funcion ArbolEstimarGanancia
#  tantas veces como valores tenga el vector  PARAM$semillas
salidas <- mcmapply(ArbolEstimarGanancia,
PARAM$semillas, # paso el vector de semillas
MoreArgs = list(PARAM), # aqui paso el segundo parametro
SIMPLIFY = FALSE,
mc.cores = 1
)