杨国忠前脚刚到蜀郡，还没安顿下来，玄宗即派中使后脚赶到，宣诏召回京师。其时玄宗仍在临潼，杨国忠先至临潼，知道李林甫病重，即至其私第探望，拜于病榻之下。
李林甫见杨国忠不出短短数月即回朝，知道这一切都是皇上事先安排的，自忖大势已去，便流涕对杨国忠说：“林甫死矣，公必为相，以后事累公!”杨国忠这时虽然很得意，但毕竟害怕李林甫的威严，见李林甫一语道破真情，竟连连“谢不敢当，汗出覆面”。
十一月丁卯日，李林甫终于在临潼私第一命呜呼。而在庚申日，即李林甫尚未断气的前七天，玄宗就在华清宫任命杨国忠担任右相了。
杨国忠一登上宰相重位，即对李林甫及其势力进行清洗。天宝十二年(753)正月，他诬告阿布思谋反是李林甫指使的，还说李林甫与阿布思私下里曾约为父子。玄宗见李林甫既死，对此事也不再细察，即令下吏按问。李林甫的女婿杨齐宣害怕受连累，遂出面做证。
当时，李林甫的灵柩刚从临潼运回长安，尚未下葬。二月，玄宗下制削夺李林甫的所有官爵，子孙有官者皆除名，流放岭南及黔中，只准许携带随身所需衣粮，其余资产皆没收。