FHE:tä kritisoidaan usein raskaasta laskennasta, mutta turvallisuudella on hintansa. #FHE on tarkoituksellista kauppaa turvallisuuden ja suorituskyvyn välillä. Jos turvallisuudella ei olisi kustannuksia, sen murtaminen olisi helppoa.