其实贺兰敏之之死与他母亲和妹妹确有直接关系，或者说是她们母女埋下的。这对母女双双沦为唐高宗李治的情妇，成为武则天的直接情敌，才是贺兰敏之去世的根本原因。而在这原因之外，还有连武则天也无法启齿的隐情。具体是什么样的难言之隐？稍后再说，先说贺兰敏之的母亲和妹妹。
贺兰敏之的母亲韩国夫人与武则天是亲姐妹关系。武则天和韩国夫人都是武大龄“剩女”杨氏所生，杨氏共生了三个漂亮的丫头片子，“大丫头”就是韩国夫人，有学者考证叫武元英；武则天是“二丫头”，有学者考证叫武元华；“三丫头”有学者考证叫武元芳，婚后死得早，史书上记载不多。在武则天显贵，由唐太宗李世民的才人变成唐高宗的宠妃、皇后之后，武氏一门都沾光了，杨氏先被封为“代国夫人”，后又授“荣国夫人”；“大丫头”武元英被封“韩国夫人。
韩国夫人生有一对儿女，除了儿子贺兰敏之，还有一个闺女贺兰敏月，后被封为“魏国夫人”虽然有一双儿女，人也长得漂亮，但韩国夫人的婚姻生活并不幸福，丈夫贺兰越石艳福太浅，过早地死了，让韩国夫人年纪轻轻就成了寡妇。
武则天对寡姐十分关心，常叫韩国夫人进宫唠嗑，以解守活寡之苦。这样一来二往，经常出入后宫，意想不到的事发生了，好色的李治迷上了这位风情万种的寡妇大姨子。有的学者就此推测，韩国夫人与李治上床后还怀了孕，并生下一个男孩，这男孩就是武则天的次子李贤。这种推测还挺合乎情理：一个寡妇怀孕了，这事有多丑？武则天为避免家丑外扬，便主动收下姐姐生下的这个孩子，假称是自己路上早产得来的。因为这原因，李贤后来也被武则天杀了。
但不久，韩国夫人便莫名其妙地死了。之后，贺兰敏月像母亲那样，与自己二姨妈的老公颠鸾倒凤，“老少配”在偷情中享受着别有滋味的性爱。女人对这种事情是最敏感的，武则天早就觉察到了，但她没有对姨侄女来个“现场捉奸”，并不捅破那层窗户纸，睁一眼闭一眼，装着不知道。
贺兰敏月暴死后，武则天认为贺兰敏之怀疑自己，便一下子改变了对贺兰敏之的态度。其实有一个人比贺兰敏之更伤心，他就是皇帝李治。李治问贺兰敏之这是怎么回事，贺兰敏之只哭不答。所以说贺兰敏之即便现在不报仇，留下来将来也可能是祸患——让贺兰敏之去死，成了武则天必须考虑的事而武则天欲弄死贺兰敏之，还有一件让她说不出口的家庭丑事。贺兰敏之的品行严重不端，是那种“头脑简单，生殖器发达”的男人，他竟然和自己八九十岁的老外婆，即武则天的母亲杨氏通奸。这就是《新唐书·外戚传》上所谓，“烝于荣国”可以说，这是武则天要弄死贺兰敏之的一大隐情。
在这种情况下，武则天便堂而皇之地严惩了这位“长安第一美男”，将其“流雷州”贺兰敏之最后死在流放的路上，但到底是怎么死的，有不同说法。《新唐书》上称，贺兰敏之“道中自经死”，即走到半路上自缢而亡。这个说法不太合理，当时是有人押送的，即便贺兰敏之想自杀，能自杀成吗？可信的说法是，贺兰敏之是被武则天派的人用马缰绳勒死的。或许武则天早就想弄死这位该死的姨侄儿了
