由於李義府支持武氏為后，其因此極受高宗所重用。然而，義府為人陰險，時人稱之為「笑中有刀」。
中書侍郎李義府參知政事。義府容貌溫恭，與人語，必嬉怡微笑，而狡險忌克，故時人謂義府笑中有刀；又以其柔而害物，謂之李貓。（資治通鑑卷二百）（資治通鑑卷二百）
和貞觀一朝之大臣不同，義府甚少有大公無私之氣質，而只知滿足一己之私利。
洛州婦人淳于氏，有美色，繫於大理獄中，義府竟命屬下大理寺丞畢正義枉法將之釋放，再而自己將之納為妾侍。
李義府恃寵用事。洛州婦人淳于氏，美色，系大理獄，義府屬大理寺丞畢正義枉法出之，將納為妾。（資治通鑑卷二百）
大理卿段寶玄後來對淳于氏被釋放一事起疑。其於是上奏高宗。高宗命劉仁軌等人加以調查，李義府恐怕事洩，竟逼畢正義自縊於獄中。
大理卿段寶玄疑而奏之。上命給事中劉仁軌等鞫之，義府恐事洩，逼正義自縊於獄中。（資治通鑑卷二百）
而荒謬的是，高宗竟然因此不再問義府之罪。
上知之，原義府罪不問。（資治通鑑卷二百）
既得高宗之默許，義府之行為逐漸變本加厲。當時有一王義方，眼見義府之日益專橫，竟不惜冒著生命危險以奏彈義府。
侍御史漣水王義方欲奏彈之，先白其母曰：「義方為御史，視奸臣不糾則不忠，糾之則身危而憂及於親為不孝，二者不能自決，奈何？」母曰：「昔王陵之母，殺身以成子之名。汝能盡忠以事君，吾死不恨！」義方乃奏稱：「義府於輦轂之下，擅殺六品寺丞；就云正義自殺，亦由畏義府威，殺身以滅口。如此，則生殺之威，不由上出，漸不可長，請更加勘當！」於是對仗，叱義府令下；義府顧望不退。義方三叱，上既無言，義府始趨出，義方乃讀彈文。（資治通鑑卷二百）
可惜義方之忠義反被高宗看成是「毀辱大臣，言辭不遜」，義方最後雖不至死，卻被貶為萊州司戶。至於李義府，則仍可隻手遮天，驕橫不法。
上釋義府不問，而謂義方毀辱大臣，言辭不遜，貶萊州司戶。（資治通鑑卷二百）
高宗為人親厚，易受他人擺動，此為其缺點所在。太宗在位時，即曾為此而質疑高宗是否當為帝。高宗甫即位，長孫無忌、褚遂良把持朝廷，問題尚不嚴重，朝中只是延續著貞觀晚年之遺風及問題。可是，隨著長孫無忌、褚遂良之失勢，武后之上場，高宗漸受武后之影響多於長孫無忌等人。事實上，容許李義府之驕橫絕不是高宗本人之主意，而更多是武后之主張。至於武后之所以默許李義府之妄為，乃由於當時武后在朝中之勢力仍弱，其要和長孫無忌等人抗衡，即不可不透過大力支持自己之李義府。
換句話說，李義府之專橫不法，多少是武后與長孫無忌等人對抗之產物。此產物之出現固然有理，但大唐之政風之漸走下坡，此產物亦難逃其責也。
