孙权袭杀关羽，并吞荆州之土，将领官吏都归附，而独独潘濬称病不前往相见。
孙权派遣人用车到潘家，连床带人搬来，潘濬伏面贴著床席不肯起身，涕泣交错纵横于脸庞，哀伤呜咽无法自制。孙权慰劳并与他谈话，用手巾擦拭潘濬的脸孔，潘濬起身下地拜谢。孙权用潘濬为治中，荆州诸军事都向潘濬谘询，荆州迅速安定下来。
五溪蛮夷叛乱集结，孙权让潘濬假节，督导诸军讨伐他们。潘濬信赏必行，斩首以及生擒，数以万计，各个蛮族受到致命性创伤，从此衰弱，五溪地方归於宁静。
当时潘濬的姨兄零陵人蒋琬为蜀汉大将军，有人对武陵太守卫旌密告潘濬，说潘濬派遣密使和蒋琬互通消息，有托身於蜀汉的意思。卫旌以此启告孙权，孙权说：“承明不作这种事的。”即刻封起卫旌所呈的表示於潘濬，而徵召卫旌回，免他的官。
先前，潘濬与陆逊都驻在武昌，共同掌管陪都事宜。潘濬还军後回复故职，当时中书典校吕壹，窃弄权柄，擅自作威作福，潘濬和上大将军陆逊同心为国家感到忧虑，每谈论及此都痛苦而流涕。吕壹弹劾丞相顾雍、左将军朱据等人，都被禁止会见。黄门侍郎谢宏在闲聊中询问吕壹：“顾公的事情如何？”吕壹回答：“不乐观。”谢宏又问：“如果顾公被辞免罢退，谁会来代替他？”吕壹还没回答谢宏，谢宏说：“是不是潘太常来担任这个职务？”吕壹考虑良久後说：“应该正如你所说。”谢宏告诉吕壹说：“潘太常每每切齿痛恨你，只是由於武昌距离遥远没有办法行事罢了。今天来代替顾公，恐怕明天就击斩你了。”吕壹大为恐惧，遂化除顾雍的事。潘濬请求回朝，前往建业，打算用尽辞语直言极谏。到达後，听闻太子孙登已经数次上言此事而不被采纳，潘濬便大宴百官，打算在席间亲手诛杀吕壹，再一死为自己独断的行为谢罪，同时抵命，为国家除去祸患。吕壹闻知密报，称有病不前往。潘濬每次觐见，都痛陈吕壹的奸邪阴险。因为这样，吕壹的宠幸一步步的衰微，後来遂被查明而诛戮。孙权引咎责怪自己，因而向大臣致歉。
站在蜀汉的立场，感觉有些可惜的是，由於关羽又和潘濬关系恶劣，所以蜀汉失去了这麼一位刚正不阿的一方将帅。站在潘濬的立场，我们也不禁为他感到一丝欣慰，他不但得到真正适合他的明主，而且，由于他在赤乌二年先陆逊而去世，才不至于看到老友在赤乌八年被孙权活活气死；我们真不知道如果性格正直的他，要是遭逢赤乌八年的事件会怎麼样。潘濬，是一位在孙权心中的地位，与陆逊相等的大人物。
后世看演义长大的人们，总以为关羽是神，做什么都是正确的，但就从潘濬这个人的境遇变迁上，就能看出关羽是一个什么样的人物，总之，吕布是绝对不会任由这样一个骄傲自大、目无余子、跟文臣不和的武将去镇守荆州这样一个两面环敌的地方，其实当时让张飞镇守荆州，未必会比关羽差。
潘濬和蒋琬一起前来拜见吕布，吕布都待之甚厚，这两个都是执政人才，是吕布日后非常需要的人才，毕竟天下很快就要一统了，吕布已经不需要太多军事人才而需要很多执政人才。
蒋琬，字公琰，零陵湘东人，和表弟潘濬都知名于当世。历史上，蒋琬以州书佐随刘备人蜀后，提拔为广都县长官。对县官之职，蒋琬殊感屈才，便众事不理，终日醉酒。一次，刘备出巡广都，蒋琬正烂醉如泥，无法前往迎接，刘备勃然大怒，将加以严厉的处罚。诸葛亮劝说：“琬社稷之器，非百里才也。政在安民，不尚修饰，愿察之。”刘备尊重诸葛亮的意见，只给以免职，不再加责。刘备为汉中王时，任命他为掌管文书的尚书郎，后来任诸葛亮的东曹椽、参军、丞相府长吏兼抚军将军等职，成为诸葛亮的重要助手。诸葛亮南征和北伐，留琬统管丞相府事宜，不负所托，坐镇成都，总是足食足兵，提供前线。
诸葛亮病倒在北伐前线五丈原，临死前秘密上书给后主刘禅：国家大事应托付给蒋琬，刘禅遵照诸葛亮之嘱，先后任命蒋琬为尚书令、益州刺使、大将军、封安阳亭候。诸葛亮猝然病逝于战争前线，外有强敌魏军压境，内有杨仪与魏延不和，朝廷笼罩着惶恐不安的气氛，独蒋琬胸有成竹，镇定自如。蒋琬政治上忠实执行诸葛亮的谋划，明察善断，循法治国，不喜阿顺，不听谗毁，故群臣悦服，乐于效命。
蒋琬屯驻汉中六年，未能实现北伐大计，又想到诸葛亮在世之时，数次出兵秦川，因道路艰险，运输困难，均未曾攻下，于是改变战略，打算多造舟船，从水路东下袭击魏国。蒋琬自驻涪陵，利用涪陵水陆四通之便，策应东西，可惜身患重病，功败垂成。
蒋琬、潘濬此二人皆是宰辅之才，但现在都只有三十岁左右，吕布让他们在自己身边做大司马掾半年后，又在洛阳中央大学堂政治学院进修半年，先下派到荆州和益州交界形势恶劣之县做县令，然后逐步提升。
吕布对现在获取到的人才，有两个安排，四十岁以上的就定格了，没有必要下基层锻炼，但他的成长发展基本上很难超过历史上的成就了，四十岁以下的、有悟性的，就安排到基层锻炼，逐步升迁，一定要让他们接触到民间疾苦，不然他们太快升迁上去，对他们自己对国家都没有好处，历史的铁证早已显明，拔苗助长式、飞机提拔出来的人才绝大多数都会于国无益。
蒋琬、潘濬之后，又有一人投靠吕布，他就是廖立。
廖立字公渊，武陵临沅人。历史上，孙权遣使与刘备通好，问诸葛亮当今天下谁有经天纬地之才能？诸葛亮答道：“庞统、廖立都是荆楚一带的奇能异士”，充分肯定了廖立的才能。