不过，如果认为唐高宗是因不能容忍李义府的狂妄行为和违法举动才痛下决心的，显然是小看了唐高宗。

其实，与自己的政治利益需要相比，李义府的放纵在唐高宗眼里根本算不上什么。唐高宗之所以产生了收拾李义府的念头，主要是因为他与皇后武则天之间出现了裂痕。

当初，为了册封武则天为皇后，夫妻俩可谓拧成一股绳。但后来，随着反对派大臣的一个个坠落，权柄日益增大的武则天也与渐渐弱势的唐高宗产生了分歧。

要知道，一个人不管多么懦弱，多么没本事，只要他拥有了权力，他就一定会有驾驭权力的欲望，唐高宗就是如此。

唐高宗与武则天之间的貌合神离，使得他们原来的支持者也自然分成了两派。李义府由于平时与强势的武则天接触多一些，自然就被唐高宗划到了对立面，这才是唐高宗想收拾李义府的真正原因。

唐高宗此举的目的很明确，就是想起到一个敲山震虎的作用，告诉皇后武则天，他李治才是帝国的no1。

经过那次警告，李义府越来越明显地感觉到唐高宗对他的不满，但他依然没有反省，而是做出了一个极为雷人的行为，让一个叫杜元纪的术士到自己府邸上望气，看看自己究竟怎样才能重获唐高宗的宠信。

按照李义府的要求，术士开始装模作样地推算起来，最后对李义府说：“宰相府邸的风水确实出现了严重问题，但这还是可以化解的，只要宰相在某间屋子积财两千万缗，便能压住此股不祥之气。”听了术士的话后，李义府频频点头。

平时，李义府通过卖官鬻狱也攒了不少银子，可在此时却舍不得掏两千万缗钱出来厌胜。但厌胜之事肯定是要做的，于是李义府想出了一个自认为两全其美的办法，把心思动到了长孙无忌的孙子身上。

长孙无忌倒台后，他的子孙们被流放到了全国各地，但其中有一个叫长孙延的孙子后来好不容易回到了长安，不过只是一个普通百姓，没有任何官职。于是，李义府找来长孙延，对他说，只要能凑出七百万缗，便想办法帮他谋到一个六品的官职。

世上没有不透风的墙，这边李义府刚向长孙延勒索完毕，那边马上就有人把这事报告给唐高宗。

一直在等待李义府出事的唐高宗马上要求有关部门对此事进行严查。严查的结果可想而知。最后，李义府不但被免去宰相之位，还被流放到巂州，他的子女、女婿们也分别被流放到了不同地方。

尽管那时的李义府依然是武则天手上一颗非常重要的棋子，武则天也很想继续保护他，但武则天毕竟只是个皇后，唐高宗才是一把手。思来想去，武则天最终还是忍痛舍弃了李义府。

流放之初，李义府还一直心存幻想，认为这次肯定也能像上次一样，转了一圈又回到长安。但是时过境迁，政局不同了。

公元666年，唐高宗改年号“乾封”，大赦天下。但朝中不少大臣都反对把流放到边疆的官员列在大赦名单之中，原因很简单，这些人回来后对他们现有的地位无疑是一种威胁。至于武则天，同样也不敢大赦流放到边疆的大臣。

众所周知，她在向权力中心攀爬的过程中，对付反对派一般有两种手段：一种是直接干掉，另一种就是贬官流放。假如这次连流放到边远地区的官员也大赦了，这些人回来后还不继续找她的麻烦？