元载被杀后，杨绾推荐颜真卿，提升他为刑部尚书，随后升任吏部尚书。李豫驾崩后，任礼仪使，因而上奏说前几朝皇帝追加谥号的礼节繁复，请按初定的礼节为准，袁傪坚决排斥他的意见，扣住不上报朝廷。时值国家死丧战乱之后，典章法令废弛，颜真卿虽然博古通今，但他的建议多被权臣阻扰，难以送达皇帝。[29]

杨炎掌管国政时，颜真卿因刚正，不被杨炎容忍，改任太子少师，但还兼任礼仪使。到卢杞掌权后，更加厌恶颜真卿的刚正，改任太子太师，连礼仪使也罢免了，多次派人探听哪一个方镇方便些，准备把他排挤出京都。颜真卿去见卢杞，告诉他说：“你先父卢中丞（卢奕）的头颅送到平原郡，脸上满是血，我不忍心用衣服擦，亲自用舌头舔净，您忍心不容忍我吗？”卢杞表面惊惶地下拜，但内心恨之入骨。