公元前87年2月，汉武帝驾崩于五柞宫，享年七十岁。武帝驾崩之前，曾将年幼的太子刘弗陵托付给四位大臣，四位托孤大臣分别是辅命大臣霍光、车骑将军金日磾、左将军上官桀、御史大夫桑弘羊。四人当中属金日磾最为特殊，因为他是胡人，而且是汉武帝最为痛恨的匈奴人。都说非我族类、其心必异，为何汉武帝会把托孤重任交付给一个匈奴人呢？汉武帝到底有多信任这个匈奴人？这就要从头说起了。

公元前121年，霍去病率一万骑兵搅得匈奴天翻地覆，数月后匈奴内乱频发，浑邪王屡次败于汉军之手，匈奴单于欲处死他以震军心，浑邪王得知消息后索性率领数万部众投降了汉朝。金日磾就是这批投降汉朝的匈奴人之一，金日磾降汉之后被安排在黄门署，黄门署是汉朝专门饲养战马的机构，由于汉武帝对汉朝的战马储备极为重视，所以黄门署是汉朝一个相当重要的部门，这也为金日磾日后得宠埋下了伏笔。

有一年汉武帝带着宫中妃嫔来到黄门署视察马匹，署衙的小吏们将各自喂养的马匹牵来供武帝检阅，武帝看马，小吏们则盯着武帝身后花枝招展的妃嫔。只有金日磾不为所动，他牵的马一个个膘肥体壮，金日磾本人毫无惧色地直视武帝，对身后妃嫔不屑一顾。更重要的是汉武帝不仅中意金日磾养的马，对金日磾本人也是颇有兴趣。金日磾身材魁梧、相貌俊朗，又带有一点异域风情，很符合汉武帝的口味。

自那次阅马以后，金日磾便开始得宠，他从黄门署马监一路升至光禄大夫，成了汉武帝身边的近臣。金日磾很会做人，对汉武帝也是忠心耿耿，武帝十分宠信他，连带对金日磾的两个儿子也是恩宠有加。金日磾的两个儿子聪明伶俐，经常惹的汉武帝大笑不止，武帝也常常招两个小子进宫逗乐子，久而久之金日磾的两个儿子在皇宫中就比较随便了，年纪尚小倒也无妨，可随着年岁的增长，小儿变得越来越放肆了。

小儿长大后，其中一个常常在宫中调戏宫女，有一次不慎被金日磾撞见，金日磾以小儿行为不检点为由将其杀之，武帝知道后勃然大怒，将金日磾招来问罪。金日磾跪在汉武帝面前，一边磕头认罪，一边告诉武帝实情。武帝知道原委后，虽然怒气减消，但还是为其儿子伤心。不过伤心过后，却对金日磾肃然起敬，而且还更加信任他了。金日磾虽然是匈奴人，但他对武帝的忠心远胜其他大臣，受武帝托孤之重，也就容易理解了。