Me pregunto si hacer softmax en base 2 en lugar de en base e podría ser una optimización útil en algún hardware de punto fijo. Anteponer un 1 a la parte fraccionaria y desplazar a la izquierda por la parte entera como una aproximación bastante cercana de 2^punto_fijo.