Интересно, может ли использование softmax в базе 2 вместо базы e быть полезной оптимизацией на некотором фиксированном аппаратном обеспечении. Добавьте 1 к дробной части и сдвиньте влево на целую часть как близкое приближение к 2^fixed_point.