五指毛桃茯苓茶虽具有一定的保健功效，但并非适合所有人群。特别是脾胃虚弱者、孕妇及过敏体质人群，应避免饮用。

脾胃虚弱者不宜饮用五指毛桃茯苓茶，此类茶叶性质寒凉，脾胃虚弱者饮用后可能会导致病情加重，引发腹痛或腹泻，对身体健康造成不良影响。

孕妇在怀孕期间需特别谨慎，五指毛桃茯苓茶具有活血化瘀的作用，孕妇饮用可能会增加早产和流产的风险，导致子宫收缩或阴道不规则出血，因此孕妇应避免饮用。

过敏体质人群也应对五指毛桃茯苓茶保持警惕。部分人可能对五指毛桃中的某些物质过敏，饮用后可能会出现皮肤瘙痒或丘疹等过敏症状，因此过敏体质者不宜饮用。

除了上述人群外，如果正在服用其他药物，也应避免饮用五指毛桃茯苓茶，以免影响药物的疗效和发挥。