与庐陵王刘义真的交往是颜延之政治生活中的一件大事。事情串涉到谢灵运，其原委和经过我已在《谢灵运的政治态度和思想性格》一文中作了详细论述(文载《社会科学战线》1987年2期)。永初三年(422)，刘裕病故，少帝刘义符继位，谢灵运于此年外放永嘉太守，成为徐羡之、傅亮的主要打击对象。颜延之当时被从宽发落，留在建康，但终于未能幸免。两年之后，即少帝景平二年(424)，徐、傅又把颜延之外放为始安(今广西桂林)太守。缪钺先生《颜延之年谱》系此事于永初三年，他认为：
　　《文选》六十颜延年《祭屈原文》云：“维有宋五年月日，湘州刺史吴郡张邵恭承帝命，建屿旧楚。”据此，则延之《祭屈原文》乃有宋五年所作；有宋五年，应为少帝景平二年，即文帝元嘉元年，延之贬始安太守亦应在景平二年矣。但细按之，则“有宋五年”之“五”乃“三”字之误，延之贬始安太守，道经湘中，为张邵作《祭屈原文》，皆永初三年事。
　　其理由是：一、谢灵运被贬在永初三年，颜延之被贬，“似不应迟至两年之后”；二、“建屿旧楚”，应当是张邵刚抵湘州的口气，张邵任刺史在永初三年。按，缪先生的疑问是有理由的，但不能由此就成为结论。颜、谢被贬时间不同，是因为谢的门第、身世、名望皆过于颜，所以作为“主犯”，对颜延之则是“以观后效”；而“建屿”一词相当于出守，不一定非是标志莅任之初。而更有力的反证则是颜延之自己的文章。《文选》卷五七录颜延之《阳给事诔》，序云“惟永初三年十一月十一日，宋故宁远司马濮阳太守彭城阳君卒”，“景平之元，朝廷闻而伤之，有诏曰：……末臣蒙固，侧闻至训，敢询诸前典，而为之诔”；《宋书。索虏传》载，阳瓒战死，少帝下诏追赠为给事中，“文士颜延之为诔焉”。从文气上看，颜延之看到了少帝的抚恤诏令，“侧闻”，当是在朝的口气，从道理上说，建康文士很多，这篇诔文并没有必要让远在两千多里之外的颜延之去撰写。所以，景平元年颜延之尚在建康，这样，“有宋五年”之“五”也就不必怀疑了。
　　同谢灵运一样，颜延之的性格里有十分傲岸的一面。所不同的是，颜延之门第较低，政治上并不热衷躁进，立身处世则以佯狂掩盖狷介而又有和光同尘的一面。在当权者心目中，他不是一个带有很大危险性的人物，所以虽然屡经蹉跌，却仍然得保天年，富贵以终。