唐朝初年，开国皇帝唐高祖李渊的几个儿子相互争斗，势成水火。大体上分为两派。一派是以太子李建成为首，另一派则是以李世民为主。李世民常年在外，战功赫赫，被晋封为秦王。李世民在民间有着极高的声望威望。

这一点被大哥李建成深深地忌惮。加上和太子李建成抱团的齐王李元吉常常声色犬马，犯些错误，这让李渊很不爽，也渐渐起了另立李世民为太子的念头。

终于，双方得较量都到了最后关键时刻。武德九年六月，注定是个记入史册的月份。是月，秦王宫内尉迟恭等众人都在焦急的等待秦王李世民做出了最后的决断。这是一场不是你走就是我留的“战争”。可是秦王李世民依旧犹豫不定。他心里似乎还对这个大哥还心存那么一丝的不忍。众将也不敢逼迫秦王做出背负这个戕害同胞兄弟的罪，都眼巴巴的瞅着。大厅里静的可怕。或许，李世民是想得到上天的提示，好减轻自己的负罪感。遂决定采用占卜的方法来预测一下这样做的吉凶。

桌案具卜摆出，秦王依旧在犹豫。就在这时，早在门外看了多时的张公谨愤怒的冲了出来。一把砸碎了占卜用的龟壳。并斥责李世民道：现在还有什么可疑难的？倘若占卜结果不利于行动，难道就要不进行了吗？说完跪在地上。

李世民看着眼前的这人，瞅了一眼地上的碎龟壳，又想了想张公谨的话。顿时下定了决定。连忙扶起了跪倒的张公谨，并传令下去，准备开干。

于是于武德九年六月四日，也就是公元626年7月2日，在玄武门外面，李世民诛杀了李建成等太子一党。史称“玄武门之变”。李世民也最终登上了皇帝大位。

而张公谨因为这场变故而得到重用，最终官拜左武候将军，定远郡公，列凌烟阁二十四功臣之中。