吕布以武艺高强而著名，但他心中最怕的，却是张飞那种嫉恶如仇的气势。吕布虽然在战场上无敌手，但面对张飞时，他总会心生忌惮。张飞的气吞山河、无所畏惧的性格，令吕布即便在面对任何敌人时也难免感到压力。吕布的为人虽然勇猛，但他却有诸多短处，这使得他在面对张飞时常常有些自卑与不安。

吕布原本是荆州刺史丁建阳的干儿子，早年他因反对董卓的暴行，帮助丁建阳与董卓作战。然而，随着局势的变化，吕布见利忘义，最终选择背叛了丁建阳。董卓为了拉拢吕布，派遣谋士李肃送上赤兔马和大量金银财宝。吕布见钱眼开，果断杀了丁建阳，投向董卓门下，甘愿拜董卓为“干爹”。他如此见利忘义，背叛了自己的义父，这也成了他一生中的污点。吕布十分忌讳别人提起此事，因这行为实在让人心生厌恶。

董卓被十八路诸侯讨伐，吕布作为董卓的护卫，几乎无人能敌。当时北平太守公孙瓒亲自上阵与吕布对抗，然而十余回合下来，公孙瓒已经气喘吁吁，无法再战。吕布骑着赤兔马追击公孙瓒，眼看公孙瓒就要丧命时，张飞突然出现，声如洪钟的叫声让吕布愣了一下。张飞大声嘲讽吕布是“三姓家奴”，暗指吕布曾是丁建阳的养子，又曾投靠董卓，这样的言辞深深刺痛了吕布的内心。虽然他明白张飞是在羞辱自己，但此言非同小可，吕布面子挂不住，立刻决定要亲自将张飞斩于马下。

吕布与张飞展开了激烈的对决，结果却让吕布大吃一惊——张飞的武艺竟然如此强悍，居然能与他激战五十回合，吕布都未能取胜。张飞的顽强让吕布愤怒不已，开始使出致命的招数，而这时，关羽也策马赶来助战。关羽的力量和武艺亦非凡，吕布见两人联手，已没有取胜的希望。虽然心中愤怒，吕布仍坚持再战，直到经过三十回合，看到刘备也赶来时，他才无奈撤退，回到了虎牢关。此时，吕布内心愈加气馁，他明白，单打独斗，张飞确实不容小觑。

后来吕布在山东败给曹操后，来到了徐州，寄人篱下。刘备对他十分热情，欲将其收为朋友。然而，张飞对吕布始终心怀敌意，甚至在刘备与吕布关系日渐亲密时，张飞公然跃马喊话：“吕布，我和你并三百合。”这话令吕布无言以对。毕竟，他早已知晓，自己与张飞之间，早就结下了深仇，若再起冲突，必然是刀剑相向。

不久后，刘备出兵讨伐袁术，将徐州留给了张飞。张飞在大宴文武时，为了劝酒与曹豹起了争执。曹豹不愿喝酒，声称：“我女婿是吕布，求你饶了我吧。”张飞听后大怒，心想：“竟拿吕布来压我，今天就让你知道我的厉害。”他立即宣称：“我本不想打你，但你却拿吕布来压我，今天就让我狠狠教训你。”张飞与吕布素有深仇，看到曹豹以吕布为威胁，他怒火中烧。

曹豹心生怨恨，勾结吕布背叛了徐州。张飞还在睡梦中，吕布便趁机攻入徐州。张飞得知后，急忙披上铠甲，挺枪杀出，迎战吕布。两人短暂交手后，张飞因酒意未醒，身体晕沉，不敌吕布，最终只能逃出城去。吕布并未追击，因为他心知自己理亏，再加上曾与张飞交手，他深知张飞武艺高强，便放任张飞离开。

刘备失去徐州后，吕布派遣使者再次邀请刘备回徐州，表示愿意归还甘夫人和糜夫人。刘备虽被迫回到徐州，但因张飞深恶痛绝吕布，因此决定不带张飞前往见吕布。张飞对吕布心怀忌恨，始终未能释怀。

最终，吕布与刘备的关系因战争而疏远。张飞则一直怀恨在心，决定在合适的时机报复吕布。一次，吕布派大将宋宪和魏续去山东购买马匹，张飞得知后带兵伪装成强盗，抢走了吕布的三百匹马。吕布听闻后愤怒不已，决定亲自带兵攻打小沛，张飞挺枪迎战，双方在战斗中激烈交锋。经过一百余回合的对抗，吕布与张飞依然未分胜负，这场战斗进一步证明，吕布虽勇，却难以轻易制服张飞。

总的来说，吕布对张飞的忌惮，一方面源自于自己的人品问题，气势上总被张飞压制；另一方面，张飞的武艺确实不容小觑。吕布屡次忍让张飞的挑衅，既是出于自己的不足，也是因为他知道，若真动手，恐怕难以取胜。