刘贺的父亲是昌邑哀王刘髆，刘髆的母亲大名鼎鼎，是汉武帝的宠妃李夫人，李夫人的兄弟也是汉武帝手下的大将，贰师将军李广利，当年汉武帝就派他远征大宛，夺取汗血宝马。虽然母亲深受武帝宠爱，但昌邑王就是昌邑王，没能成为太子，公元前87年，汉武帝驾崩，刘髆也在差不多的时间去世了。登基的是他的幼弟刘弗陵，也就是汉昭帝。又过了十三年，二十出头的昭帝驾崩了，没有子嗣，霍光立刘贺为帝，但好景不长，仅仅三个月就被废黜了。宣帝即位后，刘贺在南方的海昏聊度余生，直至生命的终结。
关于李夫人，最著名的莫过于其兄李延年的赞颂：“北方有佳人，绝世而独立。一顾倾人城，再顾倾人国。宁不知倾城与倾国，佳人难再得”。据记载，李夫人不仅容貌极美，而且妙丽歌舞，深受汉武帝宠爱。
李夫人死后，李家因事两次被族灭（第一次没涉及李广利），李广利本人逃入匈奴。刘髆本人也没有强大的母家势力支持。霍光选择立刘髆的儿子刘贺，大概也是看中这一脉势力单薄便于控制。但刘贺被立后，自己不安分，让霍光不满，仅仅在位27天就被废。霍光废刘贺时，列举了一千一百二十七起罪状。当时还使用竹简，纸张尚未普及，霍光的手下列这么多罪状也够费力的。
