吕布得到了李严和邓芝后，心里甚是欣喜，他按照郭嘉、贾诩的建议，没有继续进军，而是停驻在新野城外，等待荆州内部的变动，吕布从襄阳安插的军情司特工处获悉，袁绍麾下的外地文臣武将与荆州本土文臣武将的矛盾愈演愈烈，已经演化到了白热化的状态，吕布若是一鼓作气地攻过去，会迫使两方联手御敌，若是吕布按兵不动，则会让那些荆州本土文臣武将们心生别的念头。
果然不出郭嘉和贾诩的预料，吕布十万雄师按兵不动，让荆州内部开始分裂，而且荆州外部某些半独立武装势力也前来投效吕布。
数十日前，袁绍十万大军全军覆没，袁绍只跟二十多名亲信逃回襄阳城，襄阳本地许多世家豪强是又惊又喜，他们惊讶的是中央军的强大战力和袁绍军的不堪一击，他们喜的是袁绍从外面带来的汝颍士人可能再也无法欺压他们了。
袁绍从韩馥手里夺取荆州，迥然不同于刘表单骑入荆州必须要靠本土世家，袁绍是带了南阳人逢纪、许攸和颍川人郭图、荀谌、辛评以及冀州人审配还有很多汝南乡人为他羽翼，这些人皆是世家出身的士人，他们帮助袁绍顺利夺取荆州，袁绍要照顾到他们的利益，必然牺牲了本地世家的利益，而逢纪、郭图、许攸、审配等人都是私德很差贪得无厌之辈，他们得袁绍支持，更变本加厉地侵犯起荆州本地世家如蒯家、蔡家、黄家、马家、庞家的利益，蒯家、蔡家等本地世家虽然迫于袁绍的名声与军威，勉强跟袁绍合作，但一直非常不满那些南阳、颍川、汝南士人对自己利益的侵害，外来士人跟本地士人之间因利益分配不均而显现出来的矛盾在袁绍这个喜欢搞平衡的主公统治下一直不得调解，愈演愈烈。
袁绍依靠逢纪、许攸、郭图、荀谌、辛评、审配等人顺利夺取荆州的，所以对他们言听计从，对这些私德有亏的谋士们言听计从后，便在他们的忽悠下，对本地世家士人便没有多少信任，之所以还给蒯家、蔡家、黄家、庞家等世家人物一定的官职也是为了安抚荆州民众。
在这样的情况下，荆州本土世家越来越抵制袁绍的统治，而袁绍也越来越不信任本土世家，像数十日前袁绍攻打洛阳，便没有带上任何荆州本地文臣武将，可袁绍惨败后，因为逢纪、郭图等人劝袁绍留意荆州本土世家的骚动，袁绍愈加不信任本土世家，本土世家忍无可忍，又以为吕布代表的是正朔朝廷，袁绍一向搞得“代汉者当涂高”只是乱臣而已，本土世家借用正朔忠君思想，也消除了自己背叛袁绍的芥蒂。
吕布的中央军打过来了，荆州本地世家大都心怀希冀，希望中央军能够将袁绍消灭，把袁绍带来的一帮蛀虫全都除掉，所以他们纷纷写了投效的书信，派人偷偷送到吕布的大营，吕布这里收到了几乎所有荆州本土世家的投效信件，包括蒯家蒯良蒯越兄弟、蔡家蔡瑁蔡中诸兄弟、黄家、庞家、马家都发来信件，原本不可一世的袁绍在他们眼里嫣然成了一只破船。
吕布忽然发现，这一幕简直跟当年曹操南下，刘表下面那些本地世家人物的行径如出一辙。
吕布并不纳闷这些世家人物为什么对自己没有抵触情绪，因为吕布虽然心里一直很讨厌世家人物，但他在语言上在行动上却一直没有表现出自己的厌恶，采取的政策是拉拢大部分世家打击小部分世家，吕布重用了世家人物田丰、沮授、董昭等人，还把朝廷和地方那些没有实权但很有尊荣的官位让给那些世家，吕布还拜世家人物卢植、蔡邕为师，又娶蔡邕女儿蔡琰为妻，这些举措都让吕布赢得了不少世家的好感。
当初冀州、幽州、并州、兖州、豫州五州世家叛军里面，叛乱世家占据整个世家还不到十分之一，大多都是被杨彪、刘弘、郑泰等人忽悠的，当吕布以雷霆之势平灭了五州世家联军后，在瓜分这些叛乱世家的利益时，中央军得到了大部分的利益，剩下一部分也分给了那些不参与叛乱的中立世家，这样也赢得了这些世家的好感。
吕布一直宣扬的是“世家可以分为邪恶世家、良善世家，要团结良善世家对付邪恶世家”，而对大部分世家来说，他们不是汝南袁家、太原王家、温县司马家这种素来有野心的世家，他们不会怀疑自己这个世家在吕布的定义里属于邪恶世家，都会把自己往良善世家上靠，特别是像荆州蒯家、马家、庞家这种诗书传家并未做过多少缺德事情的世家更是认为吕布不会针对自己这样的世家下手，即便是做了一些坏事的襄阳蔡家也不认为自己是邪恶世家，也认为自己若投效吕布后，得到的利益远比袁绍下面的多。
吕布在占领青州、朔州、司州时，对待世家的政策是缓缓图之，世家的田地财产都一概不动，除非那个世家民愤极大，除非那个世家是顽固地追随敌人，吕布是准备每隔一两年除掉一个威胁到地方秩序、民愤极大的世家，不准备一下子就把这些世家统统除掉，更不愿意为了满足自己带来的文武将领们的利益而损害本地世家的利益。
当然吕布不会只为了这些墙头草一样的世家人物发来的投效书信，就以为自己真的能够速平荆州，让吕布坚信自己能够攻取荆州的是他得到了荆州两股独立势力的投效。
一股是潜逃在襄阳城外群山之中的张虎、陈生，这两人之前由蒯越、庞季劝说投效袁绍，但袁绍一直嫌弃张虎、陈生的出身，对他们甚是慢待，袁绍在大谷被吕布四部人马伏击，袁绍以为张虎、陈生在此之前没有好好地探察大谷两侧有否埋伏，迁怒于张虎、陈生，想要收杀他们，张虎、陈生听闻后，一怒之下，领着原本的四五千人马反上山，得知吕布大军来攻打荆州，便派人前去联络吕布。
吕布自然巴不得有张虎、陈生这股势力在荆州腹地牵制袁绍，便任命两人为讨贼校尉，送给他们一千把弓弩，便于他们在山林间牵制袁绍的军队。