Fico pensando se fazer softmax na base 2 em vez da base e poderia ser uma otimização útil em algum hardware de ponto fixo. Anteponha um 1 à parte fracionária e desloque para a esquerda pela parte integral como uma aproximação próxima de 2^fixed_point.