开元二十四年（736年）十月，玄宗巡游到东都洛阳，欲还长安。裴耀卿、张九龄说：“今农事未毕，请俟仲冬”。裴、张二相考虑到时值秋收大忙季节，皇帝若返驾归京，沿途迎送，势必影响秋收，所以建议玄宗推迟至初冬再归。待裴、张二相退去，李林甫装作脚疼，落在后面。玄宗问其故，李林甫说：“臣非疾也，愿奏事。二都本帝王东西宫，车驾往幸，何所待时？假令妨农，独赦所过租赋对也。”玄宗大悦，立即西还。
朔方节度使牛仙客，勤于政业，能节用度，仓库充实，器械精利。玄宗对其极为赞赏，欲拜其为尚书。张九龄反对，说：“不可。尚书，古之纳言，唐兴以来，惟相及扬历中外有德望者乃为之。仙客本河湟使典，今骤居哺要，恐羞朝廷。”玄宗改变了主意，决定对牛仙客加以“实封”。张九龄依然反对，玄宗听后沉默无语。李林甫趁此机会，对玄宗说：“仙客，宰相材也，何止于尚书！九龄书生，不达大礼。”李林甫一番话，既博得了玄宗的欣悦，又进了张九龄的谗言。第二夭，玄宗复又提出此事，张九龄固执如初。玄宗非常恼怒，变色道：“事皆由卿邪？”事后，李林甫向玄宗奏道：“天子用人，有何不可！”这话显然会进一步激怒玄宗，从而离间玄宗和张九龄的关系。