Rubriques tendance
#
Bonk Eco continues to show strength amid $USELESS rally
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
#
Boop.Fun leading the way with a new launchpad on Solana.
#PaperADay 6
ÉCHANGE DE CARACTÉRISTIQUES LOCALES POUR LA GÉNÉRALISATION DANS L'APPRENTISSAGE PAR RENFORCEMENT
Il y a une bonne discussion sur la généralisation, à la fois en général (ha) et plus spécifiquement dans l'AR, mais l'idée présentée est très simple, et je vais essayer :
CLOP : Permutations locales cohérentes par canal
Étant donné un tenseur 3D (4D avec lot), avec une certaine probabilité à chaque emplacement, échanger aléatoirement la position avec un voisin, en échangeant tous les canaux comme une unité. Comme le dropout, cela réduit le surapprentissage par co-adaptation, mais cela ne met aucun canal à zéro, cela les déplace simplement.
Je suis d'accord avec l'idée que l'augmentation des données dans l'espace latent est plus efficace pour la généralisation que dans l'espace d'entrée. Ils suggèrent de le faire aussi bas que possible dans la hiérarchie spatiale, mais cela ne serait probablement pas une bonne idée à un niveau 2x2, où il n'y a que quatre permutations possibles et chacune d'elles perturbe la moitié des informations spatiales.
Notez qu'ils ont ajusté la chance d'échange par partie, ce qui n'est généralement pas fait lors de la présentation des résultats sur un ensemble de jeux.
Les résultats sur des tâches d'apprentissage supervisé pur n'étaient pas remarquables, mais pourraient être meilleurs avec le CLOP inséré à différents endroits et avec différentes recettes d'entraînement.
Meilleurs
Classement
Favoris
