A taxa é impossível de remover, mas em um dia normal, se você não tiver pressa, a transação chega a custar centavos, no momento que escrevo isso, uma transação com a menor taxa possível (>30min) esta custando 0.021 cents
.
Oque a galera recomenda é, se você tem várias tokens e várias wallets e quer dar AQUELA limpa\organizada, pegue aquele dia que em que o gas price gira em torno de 1-2 (não é incomum), as taxas serão praticamente irrelevantes!
Para consultar o preço do GAS---->
https://ethgasstation.info/