龍朔三年（癸亥，公元六六三年）春，正月，李義府被任為右相。此時的他，可謂趾高氣揚，不可一世。
乙酉，以李義府為右相，仍知選事。（資治通鑑卷二百零一）
李義府常恃自己為武后心腹，賣官鬻爵，銓選不依法度，臣民對之頗生怨望。
右相河間郡公李義府典選，恃中宮之勢，專以賣官為事，銓綜無次，怨讟盈路。（資治通鑑卷二百零一）
高宗知悉義府之非法行為後，欲勸之罷手，不料義府卻勃然變色，大為忿怒，絲毫不把高宗放在眼內。高宗自此對義府漸生不滿。
上頗聞之，從容謂義府曰：「卿子及婿頗不謹，多為非法。我尚為卿掩覆，卿宜戒之！」義府勃然變色，頸、頰俱張，曰：「誰告陛下？」上曰：「但我言如是，何必就我索其所從得邪！」義府殊不引咎，緩步而去。上由是不悅。（資治通鑑卷二百零一）
義府為人又頗為迷信，其為杜元紀所惑，以為自己之府第有獄氣，竟不斷向民間施加聚斂以「積錢二十萬緡以厭之」。民間不滿義府之聲音更大。
望氣者杜元紀謂義府所居第有獄氣，宜積錢二十萬緡以厭之，義府信之，聚斂尤急。（資治通鑑卷二百零一）
在上為高宗不滿，在下不受人民、臣僚歡迎。終於，義府被楊行穎告以意圖謀反。四月，義府下獄，案件由劉祥道等人調查。
義府居母喪，朔望給哭假，輒微服與元紀出城東，登古塚，候望氣色，或告義府窺覘災眚，陰有異圖。又遣其子右司議郎津召長孫無忌之孫延，受其錢七百緡，除延司津監，右金吾倉曹參軍楊行穎告之。夏，四月，乙丑，下義府獄，遣司刑太常伯劉祥道與御史、詳刑共鞫之，仍命司空李勣監焉。（資治通鑑卷二百零一）
經過一連串的調查，義府謀反之事，證據確鑿。高宗於是下詔義府除名，流放巂州。其子、婿亦被除名、流放。
事皆有實。戊子，詔義府除名，流巂州；津除名，流振州；諸子及婿並除名，流庭州。（資治通鑑卷二百零一）
朝中眾人見義府被流放，莫不加以慶賀。
朝野莫不稱慶。（資治通鑑卷二百零一）
李義府雖然倒台，高宗卻並未起用來濟、許圉師等正直的官員。來濟最後死於與西突厥之戰事上；至於許圉師，則再被貶為虔州刺史。
（龍朔二年）是歲，西突厥寇庭州，刺史來濟將兵拒之，謂其眾曰：「吾久當死，幸蒙存全以至今日，當以身報國！」遂不釋甲冑，赴敵而死。（資治通鑑卷二百零一）
（龍朔三年）三月，許圉師再貶虔州刺史，楊德裔以阿黨流庭州，圉師子文思、自然並免官。（資治通鑑卷二百零一）
