Fala Maicon,
A solução adequada é o Worker tratar isso, mas atualmente não suporta Retry.
Na versão que você está utilizando não tem muito o que fazer, ao menos não de forma "elegante".
Imagino, mas não recomendo, algum tipo de tratamento de erro e "re-enfileiramento" no seu código.
A notícia boa é que iremos atuar no mecanismo de processamento com filas, e esses cenários estão no nosso radar.