早年经历
李林甫早年曾任千牛直长。他精通音律，深受舅父姜皎的宠爱，开元年间改任太子中允。侍中源乾曜与姜皎乃是姻亲，其子源洁为李林甫求取司门郎中之职。源乾曜笑道：“郎官应有才干声望，哥奴（李林甫小名）也能当郎官？”李林甫因此只被授为太子谕德，后累迁至国子司业。
累职升迁
开元十四年（726年），李林甫得到宇文融的引荐，被授为御史中丞，后历任刑部侍郎、吏部侍郎。他生性阴柔，精于权谋，与宫中宦官、妃嫔交情深厚，对玄宗的举动了如指掌，每逢奏对都能符合玄宗的意旨，深得赏识。当时，武惠妃宠冠后宫。唐玄宗非常宠爱她的儿子寿王李瑁，对太子李瑛则有所疏远。李林甫通过宦官干谒武惠妃，表示愿意尽力保护寿王。武惠妃非常感激，暗中对他进行帮助。
开元二十一年（733年），侍中裴光庭病逝。裴光庭的妻子是武三思的女儿，曾与李林甫有私情，而宦官高力士也出身于武三思府中。裴光庭死后，武氏向高力士提出请求，希望他能推荐李林甫接任宰相，高力士却未敢答应。唐玄宗因中书令萧嵩的举荐，任命尚书右丞韩休为侍中。高力士将这个消息泄露给武氏，让李林甫提前告诉韩休。韩休拜相后，与萧嵩不和，却对李林甫非常感激，便推荐李林甫，认为他有宰相之才。武惠妃也暗中相助，李林甫因此被授为黄门侍郎。
担任宰相
开元二十三年（735年），李林甫被拜为礼部尚书、同中书门下三品，加银青光禄大夫，与侍中裴耀卿、中书令张九龄一同担任宰相，后又历任户部尚书、兵部尚书。当时，太子李瑛、鄂王李瑶、光王李琚皆因母亲失宠而有怨言，被驸马都尉杨洄告知武惠妃，惠妃又向玄宗哭诉。玄宗大怒，与宰相商议，欲废黜三子。张九龄极力劝阻，表示不敢奉诏执行。李林甫当面一言不发，退朝后却私下对宦官道：“此乃天子家事，何必与外人商议。”
开元二十四年（736年），唐玄宗欲为朔方节度使牛仙客加实封，并让他兼领尚书。张九龄认为牛仙客学识不高，极力劝阻，引起玄宗不悦。李林甫私下言道：“只要有才识，何必满腹经纶。天子用人，有何不可。”唐玄宗后以结党为由罢去张九龄、裴耀卿的宰相之职，任命李林甫、牛仙客为宰相。李林甫被授为中书令、集贤殿大学士、修国史。后来，监察御史周子谅奏称牛仙客非宰相之才，被玄宗杖杀。李林甫又趁机进言，称周子谅是张九龄所引荐。张九龄又贬荆州长史。
开元二十五年（737年），唐玄宗听信李林甫之言，将太子李瑛、鄂王李瑶、光王李琚同时废为庶人，并将李瑛的妻兄驸马都尉薛锈流放瀼州。不久，唐玄宗又将三庶人赐死，时人无不称冤。同年七月，大理少卿徐峤奏称：“大理寺监狱杀气过盛，鸟雀都不敢栖息。如今刑部判定的死刑案件，一年仅有五十八例，而且有乌鹊在狱上筑巢。”群臣都上表拜贺，纷纷称赞这是社会治安良好的缘故。唐玄宗认为是宰相的功劳，便封李林甫为晋国公。
开元二十六年（738年），李林甫兼领陇右、河西节度使。当时，武惠妃已经病逝，东宫储位空悬。李林甫数次劝说唐玄宗，想让他立寿王李瑁为太子，而玄宗却属意于忠王李玙。他认为李玙年长，而且仁孝恭谨，勤奋好学，高力士也表示支持。同年六月，李玙被立为皇太子，后改名为李亨。次年（739年），李林甫又兼吏部尚书，与兵部尚书牛仙客一同主持文武铨选。
天宝元年（742年），唐玄宗更改官制官名。李林甫改为右相兼尚书左仆射，加光禄大夫，但却被免去兼任的节度使之职。天宝六年（747年），李林甫又加开府仪同三司，获赐实封三百户。唐玄宗对他非常宠信，宫中每有御膳珍馐、远方珍味，便命宦官到他府中赏赐，以致道路相望。当时，李林甫将性格柔弱的陈希烈引荐为宰相。他在家中处理政务，百官都集聚到府前等候召见。而陈希烈虽坐镇政事堂，却无人谒见，也从不敢参预意见，只是在公文上署名而已。
排除异己
李林甫因自己在李亨立太子一事中并无功劳，担心日后会有祸患，便有兴大狱动摇东宫的想法。他将目标对准李亨的妻兄韦坚，将韦坚引居要职，却又命御史中丞杨慎矜暗中窥伺其过错。陇右节度使皇甫惟明入朝献捷，见李林甫专权，曾建议唐玄宗罢免其相位，引起李林甫的嫉恨。天宝五年（746年）正月十五，李亨出宫游玩，巧遇韦坚，而韦坚则密会皇甫惟明。杨慎矜向玄宗揭发，称韦坚身为内戚，不应结交边将。李林甫便趁机诬奏，称韦坚勾结皇甫惟明，欲拥立太子为帝。唐玄宗大怒，将韦坚、皇甫惟明贬官，并命李亨休弃太子妃韦氏。宰相李适之忧惧请辞，被罢为太子少保。
同年十一月，李林甫再次发起一场针对太子李亨的冤案。当时，太子杜良娣的父亲杜有邻与女婿柳勣不和。柳勣诬告杜有邻“妄称图谶，交构东宫，指斥乘舆”，李林甫命京兆士曹王鉷与杨国忠一同审讯。最终，杜有邻、柳勣都被杖毙，杜良娣也被废为庶人。在这次事件中，很多地方官员也受到波及。北海太守李邕、淄川太守裴敦复被杖毙，韦坚、皇甫惟明被赐死。监察御史罗希奭巡察地方，大肆杀戮贬谪官员，自青州一路杀到岭南。前宰相李适之已贬宜春太守，惊惧之下服毒自尽，其子李适则被李林甫命人杖杀于河南府。先天政变的功臣王琚贬任江华司马，服毒未死，继而自缢身亡。
王忠嗣自幼在被养于宫中，与太子李亨交情深厚，后担任四镇节度使，掌控河西、陇右、河东、朔方，威震边疆。李林甫担心他会入朝拜相，威胁到自己的地位，对他非常忌惮。天宝六年（747年），将军董延光进攻石堡城失利，奏称王忠嗣沮挠军计，唐玄宗不悦。李林甫趁机指使济阳别驾魏林诬告王忠嗣，称其欲拥兵尊奉太子。唐玄宗虽表示不信，但仍夺去王忠嗣兵权，将他召回朝廷，贬为汉阳太守。李林甫虽屡兴大狱，欲离间玄宗与太子的关系，但李亨仁孝谨慎，又有张垍、高力士的保护，他的奸谋最终也未能得逞。
李林甫又对权位日盛的杨慎矜起了猜忌之心。他引荐王鉷为御史中丞，将其视为心腹。王鉷素受杨慎矜轻鄙，对他怀恨在心，便在李林甫的挑拨下制造流言，称杨慎矜是隋炀帝玄孙，勾结术士，密藏谶书，图谋恢复隋朝。唐玄宗大怒，将杨慎矜下狱，命三司会审。李林甫还栽赃陷害，命殿中侍御史卢铉袖藏谶书，称是在杨慎矜家中搜出。最终，杨慎矜被族灭。天宝八年（749年），咸宁太守赵奉章揭发李林甫罪状二十余条。结果罪状尚未呈上，李林甫便以知晓，命御史台将其逮捕，以妖言之罪杖毙。
天宝十年（751年），李林甫兼领安西大都护、朔方节度使、单于副大都护。天宝十一年（752年），李林甫鉴于开元年间张嘉贞、王晙、张说等文臣以边将入相的先例，欲杜绝出将入相的根源，以巩固自己的相权。他请求辞去兼任的朔方节度使之职，举荐安思顺继任，并奏道：“文臣为将，怯于战阵，不如用寒族、蕃人。蕃人骁勇善战，而寒族在朝中没有党援。”唐玄宗采纳了他的建议。李林甫重用蕃将，使得高仙芝、哥舒翰等少数民族将领成为独当一面的大将，但也让安禄山得以长期控制河北，为日后安史之乱的爆发埋下了隐患。
身死家灭
起初，李林甫认为杨国忠才学浅薄，不会威胁到自己的地位，况且他又是杨贵妃的族兄，因而对他善加礼遇。杨国忠与王鉷同为御史中丞，李林甫却举荐王鉷为御史大夫，杨国忠怀恨在心。天宝十一年（752年），王鉷之弟王焊与刑縡图谋作乱，欲杀死李林甫、陈希烈、杨国忠，却遭到镇压。唐玄宗命杨国忠与陈希烈一同审讯。杨国忠奏称王鉷也曾参与密谋，并借此案牵引李林甫，称他暗中勾结王鉷。陈希烈则从旁作证。最终，王鉷被赐死。李林甫虽未获罪，也逐渐被唐玄宗疏远。
同年十月，南诏寇边，剑南告急。当时，杨国忠兼任剑南节度使。李林甫便奏请玄宗，建议让杨国忠到剑南赴任，想借机把他调离朝廷。杨国忠哭着对玄宗道：“臣一旦离朝，必为李林甫所害。”唐玄宗安慰道：“你暂且先到剑南处理军务，朕很快就会召你回来，让你当宰相。”李林甫得知，愤愦发病。不久，李林甫随唐玄宗前往华清宫，结果病情加剧。巫师道：“只要您能见一下皇帝，病情就会好转。”唐玄宗本欲前去探视，却被侍臣谏止，便让人将李林甫抬到庭院中，自己则登上降圣阁，举起红巾招手慰问。李林甫已病重不能起身，只能让家人代拜谢恩。
杨国忠刚到剑南，便被唐玄宗派宦官召回朝中，并到华清宫谒见李林甫，拜于床下。此时，李林甫已无力再对付杨国忠。他流着泪对杨国忠道：“我很快就要死了，你一定会继任宰相，我的后事就托付给你了。”杨国忠对李林甫仍非常忌惮，汗流满面，连称不敢。同年十一月二十四日（753年1月3日），李林甫病逝，由诸子护灵返回长安，发丧于平康坊府邸。唐玄宗追赠他为太尉、扬州大都督，并赐班剑武士、西园秘器。不久，杨国忠拜相。
天宝十二年（753年），杨国忠与安禄山合谋，诬告李林甫与叛将阿布思约为父子，同谋造反。安禄山还派阿布思部落的降将入朝作证。唐玄宗命有司审理。李林甫的女婿杨齐宣担心自己受到牵连，便附和杨国忠，出面证实。当时，李林甫尚未下葬，被削去官爵，抄没家产。诸子被除名流放岭南、黔中，亲党中则有五十余人被贬。唐玄宗还命人劈开李林甫的棺木，挖出口内含珠，剥下金紫朝服，改用小棺以庶人之礼安葬。
劝帝西行
唐玄宗欲从东都洛阳返回长安，宰相裴耀卿谏道：“现在正是秋收季节，陛下西行可能会耽误农时，还是等到冬天再回京吧。”而李林甫则私下对玄宗道：“长安洛阳就好像陛下的东西二宫，您在两宫往来，还要选择时间吗？如果担心耽误秋收，免除沿途州县的租税就是了。”玄宗大悦，当日便命人安排回京事宜。
一雕双兔
唐玄宗任命张九龄、裴耀卿、李林甫三人为宰相。就职之时，张九龄、裴耀卿都弯腰趋进，表现的非常谦逊。而李林甫则站在二人中间，态度极其傲慢，眉目间流露着得意的神情。时人都惊叹：“这是一雕挟两兔啊。”后人便用“一雕双兔”比喻三人并列显位，一人势盛而两人受其挟制。
口蜜腹剑
李林甫担任宰相，对于才能功业在他之上而受到玄宗宠信、威胁到他相位的的官员，一定要想方设法除去，尤其忌恨以文才仕进的。他表面和善，言语动听，却在暗中阴谋陷害。世人都称他是“口有蜜，腹有剑”。
唐玄宗曾在勤政楼垂帘观看乐舞。兵部侍郎卢绚以为玄宗已经离去，便扬鞭策马从楼下缓缓而过。他风度翩翩，玄宗赞美不已。李林甫得知，担心卢绚被玄宗重用，便将卢绚的儿子召来，对他道：“你父亲素有名望，岭南道的交州广州等地现在缺乏有能力的官员，陛下有意让你父亲前去。如果他不肯远赴岭南，肯定会被贬官。我给你出个主意，不如让他到东都洛阳去做太子宾客或太子詹事，这也是清贵显职。”卢绚果然不肯前往岭南，便按照李林甫的建议，主动到洛阳任职。李林甫担任违背众望，便任命他为华州刺史，不久又奏知玄宗，称其患病不能理事，将他贬为太子员外詹事。
唐玄宗曾问李林甫：“严挺之现在在哪里，这个人还可以用。”严挺之之前被贬出朝廷，这时正在绛州担任刺史。李林甫担心他重新受到重用，便召见其弟严损之，道：“陛下非常敬重你哥哥，何不让你哥哥上书，就说得了风疾，请求回京就医。这样他就可以回到朝中了。”严挺之不知是计，果然按他的建议上书玄宗。李林甫拿到他的奏疏后，对玄宗道：“严挺之年事已高，近来又患风疾，应该给他一个闲散官职，让他安心养病。”玄宗嗟叹良久，将严挺之打发到洛阳担任太子詹事。
李适之拜相后与李林甫争权，但因性格粗疏，常中李林甫的圈套。李林甫曾对李适之道：“华山有金矿，开采可以富国，皇帝还不知道。”李适之便在一日上朝时，将华山金矿奏知唐玄宗，玄宗又询问李林甫。李林甫道：“臣早就知道，但是华山是陛下本命山，乃王气所在，不宜开凿，臣便没有提及。”唐玄宗认为李适之虑事不周，恼怒的对他道：“你以后奏事时，要先与李林甫商议，不要自行主张。”李适之从此逐渐被疏远。
李林甫担任宰相十九年，独揽朝政，蒙蔽皇帝耳目。他曾召集谏官，对他们说道：“如今圣明天子在上，群臣顺从圣意都来不及，还需要什么谏论？你们难道没见过那些立仗马吗？它们整日默不作声，就能得到上等的粮草饲养，但只要有一声嘶鸣，就会立即被剔除出去。就算后来想不乱叫，也不可能再被征用。”从此，朝中谏官无人再敢直言谏争。
野无遗贤
唐玄宗曾诏求天下士子，只要精通一艺，便可到长安备选。李林甫担心会有士子在对策时指斥自己的奸恶行为，便对玄宗道：“这些士子都是些卑贱愚聩之人，恐怕会胡言乱语扰乱圣听。”他建议让郡县长官先对士子加以甄选，将其中优秀者送到京师，在御史中丞的监督下，由尚书省覆试，将名实相副者推荐给皇帝。最终，送到京师的士子被考以诗、赋、论，结果没有一人合格。李林甫便向玄宗道贺，称民间再没有遗留的人才。
杖杜弄獐
李林甫执掌吏部时，候选官员严迥的判语中有“杕杜”二字。杕杜是《诗经》中的篇名，原意是孤生的赤棠树，比喻人孤立无援。李林甫不认识“杕”字，便问吏部侍郎韦陟：“这里写的‘杖杜’是什么意思？”韦陟低着头不敢说话。后人便称李林甫为“杖杜宰相”，以讥讽他才疏学浅。
太常少卿姜度是李林甫的表兄弟，他生儿子时，李林甫手书贺函表示庆贺，上写：“闻有弄獐之庆。”古时将生男称为“弄璋”，意思是男孩长大以后执璋（玉器）为王侯。李林甫却把“弄璋”错写为“弄獐”，满堂宾客无不掩口失笑。后人因此称李林甫为“弄獐宰相”。
罗钳吉网
李林甫担任宰相时，欲大肆打击政敌。京兆尹萧炅举荐京兆法曹吉温，称其善于治狱，李林甫大喜。吉温常道：“若与能够赏识我的人，南山白额虎我也能捉住。”杭州人罗希奭，好用酷刑，也被李林甫由御史台主簿升迁为殿中侍御史。二人掌管刑狱，帮助李林甫打击异己，只要落在他们手中，无人能逃脱厄运。时人称之为“罗钳吉网”。
威服禄山
安禄山初见李林甫时，仗着皇帝宠信，神色倨傲。李林甫不动声色，当着他的面召见王鉷。当时王鉷与安禄山都是御史大夫，而权势仅次于李林甫，但在李林甫面前却卑词趋拜，态度恭谨。安禄山被李林甫的威严所慑服，态度也逐渐恭谨。他平时飞扬跋扈，对朝中公卿多有侮慢，但却唯独忌惮李林甫。李林甫每次与安禄山交谈，都能猜透他的心思并抢先说出，让安禄山惊惧不已，即使数九寒冬也会惶恐得汗流浃背，不敢有丝毫隐瞒。安禄山返回范阳后，每次刘骆谷从长安回来，他都会问：“十郎说了些什么？”听到美言则心中欢喜。如果李林甫说：“告诉安大夫，让他老实一点！”安禄山便会拍着床榻，忧愁惧怕的道：“哎呀，我死定了！”
生前梦兆
李林甫曾梦到一个白皙多须、个子高大的男子逼近自己，贴到身上推不开。他醒后对人道：“这人的样子很像裴宽，这是裴宽想取代我的缘故。”当时，裴宽正任户部尚书，兼御史大夫。李林甫借口裴宽是李适之党羽，将他贬斥出朝。而此时只是金吾胄曹参军的杨国忠，在不到十年之内，竟于李林甫死后继任宰相，他的样子也很像裴宽。
月堂思计
李林甫府中有一个形如偃月的厅堂，名为月堂。他每次要构陷大臣，都要在堂中苦思中伤之法。如果他高兴地走出来，那就意味着被构陷的人要家破人亡。
护卫森严
李林甫知道自己结怨甚多，担心会遭刺客行刺，便一改先前宰相随从不过数人的旧制，每次出门都要由步骑百余人随身护卫，并让金吾卫士卒在前方数百步外进行清道净街，公卿大臣都要回避。他在家中也是如临大敌，居住的地方不但重门复壁，而且用石头砌地，墙中夹置木板，甚至一晚上要多次转移住处，即使是家人都不知他究竟住在哪里。
反对立碑
李林甫早年担任国子司业，曾大力整顿国子监制度。他当上宰相后，每次见到监生，仍常提起自己在国子监任职时的事情。监生为迎合李林甫，在国子监都堂前为他树碑。释奠（古代学校设酒食奠祭先圣先师）之时，百官云集国子监。李林甫见到石碑，询问来历，国子祭酒班景倩据实相告。李林甫大怒，声色俱厉的道：“我李林甫有什么功劳，让人为我立碑，这是谁提议的？”监生吓得连夜磨平碑上文字，将石碑扔到南廓门外。
李岫谏父
李林甫的儿子李岫担任将作监，见父亲权势熏天，担心盈满为患，忧虑不已。一次，李岫随父游园，看到一个役夫拉着一辆重车走过，趁机跪倒在地，哭着对父亲道：“大人久居相位，树敌甚多，以致前途满是荆棘。一旦祸事临头，想跟他一样恐怕都不可能。”李林甫揪然不乐，叹道：“形势依然如此，又有什么办法？”
玄宗论相
安史之乱时，唐玄宗在成都曾与给事中裴士淹谈论宰相。他提到当时被肃宗委以平叛重任的房琯，道：“房琯平定不了叛乱。如果姚崇尚在，叛乱早就平定了。宋璟则是沽名卖直之人。”而后又对所有宰相一一点评。当提到李林甫时，玄宗道：“李林甫妒贤嫉能，无人能比。”裴士淹趁机道：“陛下既然知道，为什么还要让他当这么久的宰相？”玄宗默然不语。
先世
曾祖：李叔良，唐高祖族弟，封长平王。
祖父：李孝斌，官至原州长史。
父亲：李思诲，官至扬州大都督府参军。
母亲：姜氏，楚国公姜皎的姐妹。
子女
根据史籍记载，李林甫有儿子二十五人，女儿二十五人。
李岫，曾任将作监，后被除名流放延德郡。
李崿，曾任司储郎中，后被除名流放苍梧郡。
李屿，曾任太常少卿，后被除名流放临封郡。
李氏，嫁鸿胪少卿张博济。 张博济在李林甫死后被贬官。
李氏，嫁户部员外郎郑平。 郑平在李林甫死后被贬官。
李氏，嫁右补阙杜位。 杜位是杜甫族子，李林甫死后被贬官，至德年间曾入严武幕府，后历任新州参军、夔府司马、司勋员外郎。
李氏，嫁谏议大夫杨齐宣。 杨齐宣在李林甫死后，投靠杨国忠，并在其制造的“李林甫谋反案”中作证。
李氏，嫁京兆府户曹元捴。 元捴在李林甫死后被贬官。
李腾空，自幼慕道，后到庐山隐迹修真。李白曾送妻子宗氏去向她学道，并赋有《送内寻庐山女道士李腾空》。
