Não dá pra saber apenas com o endereço. Pra gerar novos endereços vc precisaria da "master pub key". Entretanto, tem outras tecnicas pra rastrear, usando seu padrão de uso, IP da sua maquina, etc, que poderiam permitir descobrirem seus varios endereços. Elas envolvem ataques mais sofisticados (e mais tradicionais, sem envolver cripto) do que apenas saber seu endereço ou sua public key.
Super entendido @girino, obrigado!
Eu já desconfiava de que não era possível, mas como não conheço bem as questões técnicas do protocolo, fiquei em dúvida.
Quanto aos demais fatores de risco, eu procuro cuidar bem, limito até mesmo as consultas do endereço bitcoin apenas aos recursos disponíveis dentro da wallet, já que alguns BlockExplorers podem te rastrear atrelando as várias wallets já consultadas por um mesmo IP ou cookie/sessão do navegador.
No mais, tenho algum saldo em Monero também, minha altcoin favorita
