Trend-Themen
#
Bonk Eco continues to show strength amid $USELESS rally
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
#
Boop.Fun leading the way with a new launchpad on Solana.
#PaperADay 6
LOKALE MERKMALETAUSCH FÜR GENERALISIERUNG IM VERSTÄRKEN LERNEN
Es gibt eine gute Diskussion über Generalisierung, sowohl allgemein (ha) als auch spezifischer im RL, aber die vorgestellte Idee ist sehr einfach, und ich werde es versuchen:
CLOP: Kanal-konsistente lokale Permutationen
Gegeben ist ein 3D-Tensor (4D mit Batch), bei dem an jedem Ort mit einer bestimmten Wahrscheinlichkeit die Position mit einem Nachbarn zufällig getauscht wird, wobei alle Kanäle als Einheit getauscht werden. Ähnlich wie bei Dropout reduziert dies das Overfitting durch Ko-Adaption, aber es setzt keine Kanäle auf null, es bewegt sie einfach.
Ich stimme der Idee zu, dass Datenaugmentation im latenten Raum effizienter für die Generalisierung ist als im Eingangsraum. Sie schlagen vor, dies so tief wie möglich in der räumlichen Hierarchie zu tun, aber es wäre wahrscheinlich keine gute Idee auf einer 2x2-Ebene, wo es nur vier mögliche Permutationen gibt und jede von ihnen die Hälfte der räumlichen Informationen stört.
Beachten Sie, dass sie die Tauschchance pro Spiel abgestimmt haben, was normalerweise nicht gemacht wird, wenn Ergebnisse zu einer Reihe von Spielen berichtet werden.
Die Ergebnisse bei reinen überwachten Lernaufgaben waren nicht bemerkenswert, könnten aber besser sein, wenn das CLOP an verschiedenen Stellen und mit unterschiedlichen Trainingsrezepten eingefügt wird.
Top
Ranking
Favoriten
