颜延之被贬始安，一则因为皇室内部权力之争的波及，二则也因为恃才傲物，引起了傅亮的嫉忌。《宋书》本传载：“尚书令傅亮自以文义之美，一时莫及，延之负其才辞，不为之下，亮甚疾焉。”傅亮，其为人也小有才，《诗品》列入下品，称其“平美”，而且还是由于沈约在选本中选了他的诗才引起钟嵘的注意。他的创作成绩不能和颜延之相比，但官高权重，他就有条件把颜延之挤走。颜延之本人则并未因之改容折节。宋文帝元嘉三年(426)，徐羡之、傅亮被杀，颜、谢先后回到建康，颜延之和谢灵运依然有来往，而且“好酒疎诞”，因而又不为新的当权派彭城王刘义康和刘湛、殷景仁所喜欢。元嘉十一年(434)罢官家居，他的生活态度开始有所转变，这在《庭诰》里反映得比较清楚。其后复出为御史中丞，“在任纵容，无所举奏”，则显然是思想上的转变见之于行动。到他的晚年，刘劭杀宋文帝自立，刘骏讨伐刘劭，檄文出自颜延之儿子颜竣的手笔。刘劭见到檄文，质问颜延之“言辞何至乃尔”，他回答“竣尚不顾老臣，何能为陛下”(《宋书》本传)，后来又看到颜竣居功骄盈而斥其“出粪土之中，而升云霞之上，傲不可长，其能久乎”({南史》本传)，这已经是在人生道路上屡遭颠顿之后的“见道之言”了。不过即使如此，颜延之耿介不合流俗的一面始终没有泯灭，还是“肆意直言，曾无遏隐”，“居身清约，不营财利，布衣蔬食，独酌郊野”。如果用前人作比，谢灵运的性格近于嵇康，而颜延之则近于阮籍。张溥在《汉魏六朝百三家集．颜光禄集》的题辞中说：“颜延之饮酒袒歌，自云狂不可及……玩世如阮籍，善对如乐广。”《南史》本传记：“文帝尝召延之，传诏频不见，常日但酒店裸袒挽歌，了不应对，他日醉醒乃见。帝尝问以诸子才能，延之曰：‘竣得臣笔，测得臣文，□得臣义，跃得巨酒。’何尚之嘲之曰：‘谁得卿狂?’答曰：‘其狂不可及。”’这种生活态度确乎十分近似于《世说新语》中记载的阮籍饮酒佯狂。
　　颜延之主要接受的是儒家传统。在时代风气的影响下，他也信奉佛教，和一些著名的僧人来往。元嘉十二年，颜延之和何承天之间展开了一场关于《达性论》的争辩。何承天精于天文、历算等自然科学，倾向于唯物主义观点，以为天地人“三才同体，相须而成”，“人”不能等同于“众生”，在形神生死的问题上，则“有生必有死，形毙神散，犹春荣秋落”。颜延之不同意何承天的论点，两次致函何承天，反复辩论。当时与颜延之结成同盟的有著名的艺术家宗炳。这件事曾惊动了宋文帝，曾向何尚之、羊玄保表示他自己对佛经读得不多，“三世因果，未辨厝怀，而复不敢立异者，正以卿辈时秀，率所敬信故也”。接着他又提到范泰、谢灵运、颜延之、宗炳都能出入儒佛，颜延之驳斥《达性论》，宗炳非难《白黑论》，尤足给人以启发。“若使率土之滨，皆敦化此，则朕坐致太平，夫复何事?”(见《高僧传》卷七《慧严传》、《弘明集》卷十一何尚之《答宋文帝赞扬佛教事》)这段话，足以说明当时君主和某些上层人士提倡宗教的目的并不是真正的信仰。使人意外的是，当年曾和谢灵运、颜延之一起出入于庐陵王门下的僧人慧琳，却反戈一击，成为佛门的异端。他的《均善论》(即《白黑论》，见《宋书。夷蛮。天竺迦毗利国传》)，指责佛教徒“大其言矣”，“所务之乖”，却同样得到宋文帝的信任。看来慧琳是一个“政治和尚”，宋文帝欣赏他的才学，听取他对朝政的意见。佛理上意见的分歧加上政治上的不满，颜延之与慧琳变友为敌，而且借酒批评了宋文帝，骂慧琳为“刑馀”之人，致使宋文帝为之变色。