尽管按照朱祐的计策，一旦举事提前，刘秀或能名正言顺向被裹挟的阴氏提亲，抱得美人归。但在刘秀心中，儿女之情虽重，却要轻于他们兄弟的大业。
刘秀道：“如今前队大军云集，一旦举事，南有荆州牧两万奔命之卒，北有甄阜郡卒，两面夹击，族人未经战阵磨砺便遭逢强敌，必败。”
“倒不如让江夏的绿林军作为磨石，一点点磨尽官军战力，一点点磨去南阳人对朝廷的信赖，只待其最疲乏时，吾辈再乘势而起。”
刘縯扼腕：“那岂不是追随牛后？”
刘秀振振有词：“秦末首义者，陈胜吴广是也，但陈吴虽名动一时，却很快就功败垂成，倒是高皇帝，虽非首义，却最终得了天下，兄长，宁可要实，而勿要名啊！”
此事就这么定了，刘縯兄弟只坐视第五伦过新野而不入，但刘秀俯仰之际，只想起当年的事，感慨万千。
“我在京师太学时，眼看第五伦屡屡辞官，猜他无志于仕途，甚至会心怀汉家。他日兄长举大事功成，第五伦或能以名士隐者的身份辅佐，为大汉收复旧都，可为出将入相之才。”
“只可惜……”世事难料，当初还屡屡辞让的第五伦，如今却扶摇直上，成了王莽宠爱的新贵，与刘秀渐行渐远了。
“看来他是铁了心，要做伪帝王莽的狗了。”刘縯常听弟弟称赞第五伦，耳朵都快听出茧子来了，伯鱼虽好，但只要不站在他们这边，便是敌人！
“或许是迫于形势才如此，未来难说还有反复的余地。”刘秀暗道：“我都没来得及将真名告知第五伦，或许，是再没机会了。”
尽管日后不知敌友，但刘秀觉得，还是得留个念想，遂让仆从赶车去追使团，携带糗一斛，脯三十斤犒劳第五伦。
想了想后，觉得太轻了，难以让人记住，遂取下自己随身佩戴的玉玦交给徒附：“就说，是故人刘交刘文叔相赠！”
……
和来时慢悠悠一路寻贤访客不同，回程的时候，第五伦拿出了十二分的认真劲，把这当场是一场战争来指挥。使团速度很快，等刘秀派出的徒附追上他们时，已至宛城南三十里的渡口南筮聚。
即便不过南阳大豪地盘，第五伦仍将警哨布得很远，岑彭再度展现了他的军事才干，前后左右的分卒安排得当，第五伦瞧这架势，哪怕自己带猪突豨勇们来袭，也讨不到便宜。
反观越骑营，真的毫无危机感，仍大剌剌拥在一起行军，同等装备下，三百越骑大概还打不过岑彭两百兵。