武则天以为张氏兄弟是公卿之后、世家子弟，大臣们该没人说闲话了，但忠心耿耿的内史狄仁杰偏偏不买账。狄仁杰先前就曾力谏武则天撤除秽乱深宫的“控鹤监”，现在又梗着脖子对武则天说：“昔臣请撤‘控鹤监’，不在虚名而在实际，今‘控鹤监’之名虽已除去，但二张仍在陛下左右，实在有累皇上的盛名。皇上志在千秋，留此污点，殊为可惜，愿罢去二张，离他们越远越好。”右补阙朱敬也劝谏武则天：“志不可满，乐不可极。嗜欲之情，愚智皆同，贤者能节之，不使过度，则前贤格言也……”
武则天煞有介事地解释道：“我嬖幸二张，实乃为了修养身体。我过去躬奉先帝，生育过繁，血气衰耗已竭，因而病魔时相缠绕，虽然经常服食参茸之类的补剂，但效果不大。沈南璆告诉我：‘血气之衰，非药石所能为力，只有采取元阳，以培根本，才能阴阳合而血气充足。’我原也以为这话虚妄，试行了一下，不久血气渐旺，精神渐充，这绝不是骗你的，我有两个牙齿重新长出来就是证明。”狄仁杰一时无话可说，只得顺着台阶就势而下：“游养圣躬，也宜调节适度，恣情纵欲，适足贻害，希望陛下到此为止，以后不能再加添男侍了。”朝堂之上，君臣之间竟讨论起男侍的事情，真是千古少见。不过，武则天晚年因保养得法，年高而不衰，却也是事实，她还为此专门下诏改元为“长寿”呢。
神龙元年（705），宰相张柬之等五位大臣趁武则天病重，在玄武门发难，迎太子李哲斩关而入，斩杀张易之、张昌宗兄弟，逼令武则天退位，把皇位传给李哲，即唐中宗。这年冬天，武则天病死。她以皇后身份预政24年，以太后身份临朝称制7年，称帝15年，前后共掌政46年。她死后谥号“大圣则天皇后”，以高宗皇后的名义和高宗埋在一起，故后人称她为武则天。
清朝着名史学家赵翼在《廿二史札记》中说：“人主富有四海，妃嫔动千百，后既为女王，而所宠幸不过数人，固亦未足深怪，故后初不以为讳，而且不必讳也。”意即历代皇帝都可以嫔妃成群，而武则天身为女皇，宠幸的男侍前后不过数人，即使与历史上不荒淫的皇帝相比，也是少之又少，没什么好指责的。应该说，这算是比较公正的评论。
武则天具有治国才能，统治了数千万臣民，成为中国历史上空前绝后的女皇帝，当然便有足够的理由去追求奢华生活，她要的是和男性皇帝平等的情爱。另一方面，这也和当时的社会风气开放有很大关系。唐代时理学尚未盛行，封建礼教还没有完全建立，两性关系并不像后世那么禁锢与封闭，有些后人认为荒淫无耻的事情，当时人可能并不以为耻。例如，当时像韦后和太平、高阳、襄阳、安乐、郜国、永嘉等公主以及上官婉儿等人，在私生活方面都非常放纵，畜养着一群男宠。因此，我们在谈论武则天宠幸男侍时，应该更加客观地将她放在当时的环境中来评判。