Eu me pergunto se fazer softmax na base 2 em vez da base e poderia ser uma otimização útil em algum hardware de ponto fixo. Adicione um 1 à parte fracionária e desloque para a esquerda pela parte integral como uma aproximação razoável de 2^ponto_fixo.