Me pregunto si hacer softmax en base 2 en lugar de base e podría ser una optimización útil en hardware de punto fijo. Precede un 1 a la parte fraccionaria y desplaza a la izquierda con la parte integral como una aproximación más o menos cercana de 2^fixed_point.