咸丰帝一生之中，拥有三位皇后和诸多嫔妃。三位皇后分别为：孝德温惠诚顺慈庄恪慎徽懿恭天赞圣显皇后？萨克达氏，孝贞慈安裕庆和敬诚靖仪天祚圣显皇后？钮祜禄氏，孝钦慈禧端佑康颐昭豫庄诚寿恭钦献崇熙配天兴圣显皇后？叶赫纳喇氏。嫔妃分别为：庄静皇贵妃他他拉氏，端恪皇贵妃佟佳氏，婉贵妃索绰络氏，玫贵妃徐佳氏，璷妃，吉妃王氏，禧妃察哈喇氏，庆妃张氏，云嫔武佳氏，容嫔伊尔根觉罗氏，璹嫔那拉氏，玉嫔那拉氏，玶常在伊尔根觉罗氏。以上的这些妃子，也只是登记在册的，在他一生这么多的女人中，哪个是他最爱的那个人之一呢？
最具盛名的就是庄静皇贵妃，也就是丽妃。民间一直流传着，咸丰帝最爱的便是这位他他拉氏。他他拉氏比咸丰帝小6岁，生于公元1837年，于咸丰元年入宫候选。庄静皇贵妃选秀的时候，是和叶赫拉拉氏（也就是后来的慈禧太后）一起入的宫。两人一同被选中，他他拉氏后来被封为了丽贵人。
一起入宫，这使得两个人有了特别的联系。在后来我们说到丽妃，也就是庄静皇贵妃，时常与慈禧太后捆绑在一起。这二人一同入宫，先后晋位，一直平起平坐。看到这儿，大家可能已经脑补了一出宫斗大戏了。慈禧太后不是一个好相与的人，想来与她一直平起平坐的丽妃，应该是她后宫的大敌。在现今的电视剧中，以及文学作品中，有许多慈禧太后因为咸丰帝宠爱丽妃，嫉妒成性，而加害丽妃的画面。
但实际上事实并不是如此，丽妃身体虚弱，常常生病，根本不可能给慈禧太后构成威胁，因此慈禧太后实际上与丽妃关系很好。
咸丰皇帝的后代很少，只有1个女儿和2个儿子，他唯一的女儿就是由庄静皇贵妃所生。咸丰皇帝的女儿出生的年份是1855年，那时庄静皇贵妃18岁，她诞下了咸丰皇帝第一个也是唯一的一个女儿后令咸丰皇帝很开心，封她为丽妃。
1890年的时候，虚弱的丽妃去世，她的去世给了咸丰帝很大的打击。她去世后依照祖制，被埋葬于定陵妃园寝，在园中也有其他的妃子，但是她的位置最尊贵，由此可以看出咸丰皇帝对她的喜爱程度。
另一种说法，则是慈安太后才是咸丰帝最爱的女人。咸丰帝去世之前，专门给慈安太后留下后路。因为他知道慈禧太后的心机，生怕慈禧太后凭借儿子，挟天子以令诸侯，对慈安太后不利。临死之前嘱咐他，一定要好好保存这一谕旨，在慈禧太后对其有威胁的时候，拿出来。可惜的是慈安太后在慈禧太后的假面下，选择了相信她，放松了警惕。甚至到最后的时候，还销毁了那道谕旨。这之后不久慈安太后就不久于人世了，这也使得后世之人，一直猜测慈安太后之死，是慈禧太后的阴谋。
传闻咸丰帝是一个瘸子，走路都不平稳。所以他上位之后，便要求大臣们上朝之后，每日先走。等大臣们都走了之后，他才离开。可是有一次他着急，忘了这么一件事，抢先大臣离开，这个秘密才得以被世人所知。
对于咸丰帝是否是一个昏君，不在那一个时代的人，虽然没有资格评价。但是只从史料中，可以知道，至少咸丰帝的所作所为的确担得起昏君之名。面对太平天国起义和英法联军的入侵，咸丰帝软弱无能，最终和外国列强签订了一系列丧权辱国的条约。同时沉迷女色，没有一国之君的姿态。虽然不知道他是有心无力还是无心也无力，至少他表现的就是一个昏君的姿态。