Kdo vynalezl konvoluční neuronové sítě (CNN)? 1969: Fukušima měla ReLU relevantní pro CNN [2]. 1979: Fukušima má základní architekturu CNN s konvolučními vrstvami a vrstvami převzorkování [1]. Výpočetní prostředky byly 100x dražší než v roce 1989 a miliardu x dražší než dnes. 1987: Waibel aplikoval Linnainmaovu zpětnou propagaci z roku 1970 [3] na TDNN se sdílením hmotnosti s 1-dimenzionálními konvolucemi [4]. 1988: Wei Zhang et al. aplikovali "moderní" 2-dimenzionální CNN na rozpoznávání znaků [5]. Všechny výše uvedené byly publikovány v Japonsku v letech 1979-1988. 1989: LeCun et al. opět aplikovali CNN na rozpoznávání znaků (PSČ) [6,10]. 1990-93: Převzorkování ve Fukušimě založené na prostorovém průměrování [1] bylo nahrazeno maximálním sdružováním pro 1-D TDNN (Yamaguchi et al.) [7] a 2-D CNN (Weng et al.) [8]. 2011: Mnohem později můj tým s Danem Ciresanem opravdu zrychlil sdružování CNN na grafických kartách NVIDIA. V roce 2011 dosáhl DanNet prvního nadlidského výsledku rozpoznávání vzorů [9]. Po nějakou dobu se těšil monopolu: od května 2011 do září 2012 DanNet vyhrál každou výzvu v rozpoznávání obrazu, které se zúčastnil, 4 z nich v řadě. Je však pravda, že se jednalo především o inženýrství a rozšíření základních poznatků z minulého tisíciletí, přičemž se těžilo z mnohem rychlejšího hardwaru. Někteří "experti na umělou inteligenci" tvrdí, že "zajistit, aby CNN fungovaly" (např. [5,6,9]) bylo stejně důležité jako je vymyslet. Ale "zajistit, aby fungovaly" do značné míry záviselo na tom, zda byla vaše laboratoř dostatečně bohatá, aby si mohla koupit nejnovější počítače potřebné k rozšíření původní práce. Je to stejné jako dnes. Základní výzkum vs inženýrství/vývoj - R vs D ve výzkumu a vývoji. ODKAZY [1] K. Fukušima (1979). Model neuronové sítě pro mechanismus rozpoznávání vzorů neovlivněný změnou polohy — Neocognitron. Přel. IECE, roč. J62-A, č. 10, s. 658-665, 1979. [2] K. Fukušima (1969). Vizuální extrakce příznaků pomocí vícevrstvé sítě analogových prahových prvků. Transakce IEEE v systémové vědě a kybernetice. 5 (4): 322-333. Tato práce představila rektifikované lineární jednotky (ReLU), které se nyní používají v mnoha CNN. [3] S. Linnainmaa (1970). Diplomová práce, Univerzita v Helsinkách, 1970. První publikace o "moderním" zpětném šíření, známém také jako reverzní způsob automatické derivace. (Viz Schmidhuberův známý přehled zpětného šíření: "Kdo vynalezl zpětné šíření?") [4] A. Waibel. Rozpoznávání fonémů pomocí neuronových sítí s časovým zpožděním. Zasedání IEICE, Tokio, Japonsko, 1987. Backpropagation pro TDNN se sdílením hmotnosti s 1-rozměrnými konvolucemi. [5] W. Zhang, J. Tanida, K. Itoh, Y. Ichioka. Neuronová síť s invariantním rozpoznáváním obrazů a její optická architektura. Proc. Výroční konference Japonské společnosti aplikované fyziky, 1988. První zpětně naučená 2-dimenzionální CNN, s aplikacemi na rozpoznávání anglických znaků. [6] Y. LeCun, B. Boser, J. S. Denker, D. Henderson, R. E. Howard, W. Hubbard, L. D. Jackel: Backpropagation Applied to Handwritten Zip Code Recognition, Neural Computation, 1(4):541-551, 1989. Viz také § 3 z [10]. [7] K. Yamaguchi, K. Sakamoto, A. Kenji, T. Akabane, Y. Fujimoto. Neuronová síť pro rozpoznávání izolovaných slov nezávislé na mluvčím. První mezinárodní konference o zpracování mluveného jazyka (ICSLP 90), Kóbe, Japonsko, listopad 1990. 1-dimenzionální konvoluční TDNN využívající Max-Pooling namísto prostorového průměrování ve Fukušimě [1]. [8] Weng, J., Ahuja, N. a Huang, T. S. (1993). Učení rozpoznávání a segmentace 3-D objektů z 2-D obrazů. Proc. 4th Intl. Conf. Computer Vision, Berlín, str. 121-128. Dvourozměrná CNN, jejíž vrstvy převzorkování používají Max-Pooling (který se stal velmi populárním) namísto prostorového průměrování ve Fukušimě [1]. [9] V roce 2011 dosáhla rychlá a hluboká CNN založená na GPU s názvem DanNet (7+ vrstev) prvního nadlidského výkonu v soutěži počítačového vidění. Viz přehled: "2011: DanNet spouští hlubokou revoluci CNN." [10] Jak 3 držitelé Turingovy ceny znovu publikovali klíčové metody a myšlenky, jejichž tvůrcům nedokázali připsat zásluhy. Technická zpráva IDSIA-23-23, švýcarská laboratoř umělé inteligence IDSIA, 14. prosince 2023. Podívejte se také na video na YouTube ke slavnostnímu předávání Bowerových cen 2021: J. Schmidhuber chválí Kunihiko Fukušimu.

Fp4 experts? GB200 benches? Basic switch transformer style routing? Lots of interesting bits in here