刘义隆即位后，政局起了变化，谢灵运的政敌徐羡之、傅亮先后伏诛。元嘉三年(426)三月，太祖征为秘书监，“再召不起，上使光禄大夫范泰与灵运书敦奖之，乃出就职。”这才离乡北上，经丹徒，谒庐陵王墓，再进京任职，时间为元嘉三年秋。“既至，文帝(即太祖刘义隆)唯以文义见接，每侍上宴，谈赏而已……灵运意不平，多称疾不朝直……出郭游行，或一日百六七十里，经旬不归，既无表闻，又不请急，上不欲伤大臣，讽旨令自解。灵运上表陈疾，上赐假东归。元嘉五年(428)春至八年(431)春，灵运第二次回始宁隐居，也是三年。“灵运既东归，与族弟惠连、东海何长瑜、颖川荀雍、泰山羊浚之以文章赏会，共为山泽之游，时人谓之四友。''这时期主要作品有《入东道路》、《登临海峤初发强中》、《酬从弟惠连》，《登石门最高顶》、《石门岩上宿》等。这次回乡，谢与会稽太守孟顗不和直至发生冲突。“孟事佛精恳，而为灵运所轻。尝谓顗日：得道应需慧业，丈人升天当在灵运前，成佛必在灵运后。顗深恨此言。”“会稽东郭有回踵湖，灵运求决以为田，太祖令州郡履行，此湖去郭近，水物所出百姓惜之，顗坚守不与。灵运既不得回踵，又求始宁坯嶂湖为田，岩又固执。灵运谓顗非存利民，正虑决湖多害生命，言论毁伤之，与顗遂构仇隙。”于是顗一而上疏文帝(即太祖)，谓灵运有“异志”，一面如临大敌，发兵自防。灵运获知，急驰京都，上表文帝自辩。文帝知其被诬，不加罪，也没让他回始宁。灵运暂住京中，元嘉八年(431)冬被派往临川任内史。从此，灵运再也没有回过故乡。