Séminaire – Petit déjeuner – “Binarsity: a penalization for one-hot encoded features in linear supervised learning” par Stéphane GAIFFAS, LPSM Université Paris Diderot

Date / Heure
Date(s) - 11/06/2019
9 h 00 - 10 h 30

Emplacement
Auditorium Gilles Glicenstein


This paper deals with the problem of large-scale linear supervised learning in settings where a large number of continuous features are available. We propose to combine the well-known trick of one-hot encoding of continuous features with a new penalization called binarsity. In each group of binary features coming from the one-hot encoding of a single raw continuous feature, this penalization uses totalvariation regularization together with an extra linear constraint. This induces two interesting properties on the model weights of the one-hot encoded features: they are piecewise constant, and are eventually block sparse. Non-asymptotic oracle inequalities for generalized linear models are proposed. Moreover, under a sparse additive model assumption, we prove that our procedure matches the state-of-the-art in this setting. Numerical experiments illustrate the good performances of our approach on several datasets. It is also noteworthy that our method has a numerical complexity comparable to standard `1 penalization.

Lien vers le papier

Une nouvelle pénalisation pour l’apprentissage supervisé linéaire dans le cadre de transformations de variables continues en variables ordinales : la binarsité

Cette présentation considère des modèles d’apprentissage linéaire (comme les modèles linéaires généralisés). Pour tenir compte des non-linéarités potentielles des variables continues, il est possible de discrétiser ces variables et de les transformer en variables ordinales. Trois problèmes apparaissent :
i) la matrice des variables explicatives n’est plus de plein rang,
ii) le choix du nombre de modalités est difficile et peut conduire à de l’overfitting,
iii) certaines modalités deviennent non-informatives et peuvent conduire à rendre le modèle « sparse ».
L’exposé présentera une nouvelle pénalisation concurrente de la pénalisation L1 habituellement utilisée. Des expériences numériques illustreront les très bonnes performances de cette nouvelle approche sur plusieurs jeux de données.

Bookings

Les réservations sont closes pour cet événement.

Filed under: Séminaires trimestriels