É 100% aceitável recusar educadamente pedidos sobre o seu tempo sem dar uma explicação longa sobre o porquê.
"Infelizmente, não poderei ir, divirta-se muito."
"Adoraria encontrar-me em algum momento, mas não posso agora."
"Não posso priorizar isto neste momento, obrigado, no entanto."