6年），李義府兼任太子右庶子，進爵廣平縣侯。當時，洛州女子淳于氏因罪被關(guān)入大理寺監(jiān)獄。李義府聽聞淳于氏貌美，便暗中指使大理丞畢正義將她釋放，然后納為妾室。大理寺卿段寶玄據(jù)實上奏，唐高宗便命給事中劉仁軌、侍御史張倫審理。李義府擔心事情敗露，竟逼令畢正義在獄中自縊，以斷絕實證。唐高宗雖知實情，但卻沒有追究李義府的罪責。
　　后來，侍御史王義方彈劾李義府道：“義府擅殺六品寺丞，理應(yīng)治罪。”李義府出班辯斥，經(jīng)王義方三次叱責，這才怏怏退下。唐高宗大怒，認為王義方詆毀大臣、言辭不遜，將他貶為萊州司戶。朝后，李義府得意地問道：“王御史妄加彈劾，慚不慚愧？”王義方正色道：“孔子擔任魯國司寇，僅七天便誅殺少正卯。我王義方就任御史已經(jīng)十六日，卻不能誅殺奸邪，確實有愧�！辈痪�，李義府兼任太子左庶子。
　　顯慶二年（657年），唐高宗擢升李義府為中書令、檢校御史大夫、太子賓客、河間郡公，并為他修建宅第。當時，李義府寵冠朝廷，家中子弟都被封為清要官職。他生性貪婪，與妻子、子婿大肆賣官鬻爵，又多引腹心、廣結(jié)朋黨，權(quán)勢熏天。
　　此前，杜正倫擔任中書侍郎，而李義府則為門下典儀，后二人一同擔任中書令。杜正倫自恃前輩，對李義府非常輕視。顯慶三年（658年），杜正倫與中書侍郎李友益謀除李義府，結(jié)果事情泄露，被李義府告知皇帝。二人在唐高宗面前爭論，各執(zhí)一詞。唐高宗以“大臣不和”為由，貶李義府為普州刺史、杜正倫為橫州刺史，并將李友益流放峰州。
　　顯慶四年（659年），李義府被征召回朝，兼任吏部尚書、同中書門下三品。此前，李義府自稱出身趙郡李氏，被給事中李崇德列入族譜。他貶官普州時，李崇德卻將他除名，因此懷恨在心。李義府回朝后，命人羅織罪名，將李崇德下獄。李崇德最終在獄中自殺。
　　龍朔二年（662年），唐高宗更改官制，李義府改任司列太常伯、同東西臺三品。他奏請皇帝，將祖父改葬到永康陵側(cè)，并征調(diào)七縣民丁，晝夜不停的運土修墳。滿朝王公爭相饋贈奠儀，送葬隊伍綿延七十里，極盡奢華。同年十一月，唐高宗封皇八子李旭輪（即李旦）為殷王，命李義府兼任殷王府長史。
流放巂州
　　龍朔三年（663年），李義府升任右相，仍舊主持銓選。他在皇帝面前諂言自媚，出外則肆意亂法，百官盡皆畏懼，無人敢言其過。唐高宗對此略有所知，告誡他道：“聽說你的兒子、女婿多有不法之事，我都為你掩飾，你該對他們多加管教。”李義府勃然變色，問道：“是誰告訴陛下的？”高宗道：“你知道就行，不必問我是怎么知道的。”李義府也不謝罪，扭頭便走。唐高宗雖未追究，但也深為不滿。
　　不久，李義府請術(shù)士杜元紀望氣。杜元紀道：“您的宅第有冤獄造成的怨氣，如果積蓄二千萬錢，可以將怨氣壓制�！崩盍x府深信不疑，更加急切的搜刮錢財，還趁哭吊亡母之時，與杜元紀微服出城。時人都認為李義府在窺測災(zāi)異，圖謀不軌。這時，李義府又向長孫無忌之孫長孫延索取七百貫，授給他司津監(jiān)的官職，結(jié)果被右金吾倉曹參軍楊行穎告發(fā)。
　　四月，唐高宗將李義府下獄，命司刑太常伯劉祥道聯(lián)合御史臺、詳刑寺（即大理寺）一同審訊，并由司空李勣進行監(jiān)督。不久，唐高宗下詔，將李義府長期流放巂州（今四川西昌），其子婿也都遭到流放。朝野對此無不稱慶，有人甚至寫了篇《河間道行軍元帥劉祥道破銅山大賊李義府露布》，張貼在交通要道上。
憂憤而死
　　乾封元年（666年），唐高宗封禪泰山，大赦天下，但卻不許長期流放的罪囚返回。李義府憂憤不已，發(fā)病而死，時年五十三歲。至此，擔心他再度起復(fù)的朝士方才安心。
　　上元元年（674年），李義府的妻子、兒女遇赦，得以返回洛陽。如意元年（692年），武則天念及李義府此前的輔助之功，追贈他為揚州大都督，后賜實封三百戶。景云元年（710年），唐睿宗繼位，又將李義府的實封收回。
軼事典故
　　李義府表面上隨和有禮，與人說話，總是和言悅色，但內(nèi)心褊狹嫉妒、陰狠殘忍。在他位居要職后，凡是對他稍有觸犯者，都會遭到陷害。當時人都說他笑中有刀，稱他為“李貓”。
家庭成員
兒子
　　李津，官至右司議郎，后被流放振州。
　　李洽，官至率府長史，后被流放廷州。
　　李洋，官至千牛備身，后被流放廷州。
　　李湛，曾以左羽林將軍之職參與神龍政變，官至左領(lǐng)軍衛(wèi)大將軍，封趙國公。
女婿
　　柳元貞，官至少府主簿，后被流放廷州。