固定点ハードウェアでは、ベースeではなくbase-2でsoftmaxを使うことが有効な最適化になるのではないかと考えています。分数部分に1を付け、積分部分を左にシフトして2^fixed_pointの近似値として使います。