刚开始得知“罪且不测”的消息时，杭世骏正在参加同僚的宴会，还没等杭世骏从震愕中回过神来，东道主已先一步作出反应，要赶杭世骏出门，免得连累自己。此后，那些所谓的同僚如同躲避瘟神一样地躲着他，“杭往话别，辄预戒阍者拒之。”唯独郑板桥写信慰问《与杭世骏书》：“君由鸿博，地处清华，当如欧阳永叔在翰苑时，一洗文章浮靡积习，慎勿因循苟且，随声附和，以投时好也。数载相知，於朋友有责善之道，勿以冒渎为罪，是所冀於同调者。堇浦词兄，燮顿首。”罢归之初，杭世骏要么闭门不出、避人如仇，要么踟躇在距家很近的吴山幽径中。但有时他又会倒载而行，招摇过市，目无旁人地大声吟唱诗句。

　　家居著学

　　杭世骏性格伉直，恃才傲物。他甚至与礼部侍郎方苞发生辩论，引经据典，将一向以经学自负的方苞驳得无言以对。生活上也不拘细节，不喜欢看当时的邸报（邸报是当时政府的内部文告，只有一定地位的人才能看到）。他家居著书或讲学，闲居二十年，连当地与他年龄相仿的人做到了大学士、尚书、总督等政府高官，他全然不知道。一次，吏部尚书兼协办大学士刘纶去扬州安定书院看望他。他问刘纶：“现在做什么官?”刘纶回答说：“实不相瞒，已经做了很多年大学士了。”杭世骏感到非常惊讶。事实上，杭世骏除了平时讲学以外，把其他的时间都用于著书立说上了。尽管与他同一年考中“博学鸿词科”的许多人都做了高官，惟独他一人被遣放回家，但是他著的书却是这些人当中最多的。他较著名的书就有《两浙经籍志》、《经籍志》、《榕城诗话》、《词科掌录》等。杭世骏的诗在当时更是与厉鹗齐名，尝赋《方镜诗》二十四首，在京城被传诵一时。

　　乾隆十六年（1751）得以平反，官复原职。晚年主讲广东粤秀和江苏扬州两书院。

轶事典故

　　乾隆南巡到杭州，杭世骏也参与迎驾，乾隆见了他问道：“你靠什么生活？”杭答：“臣世骏开旧货摊。”皇帝不懂，问道：“什么叫开旧货摊？”杭解释道：“把买来的破铜烂铁陈列在地上卖掉。”皇帝听了大笑，写了“买卖破铜烂铁”六个大字赐他。

　　据传杭世骏为人耿介，敢于直言。时值天下大旱，乾隆特开“阳城马周科”，测验翰林院官。意在选拔人才，帮他治理国家。杭世骏在这次试卷中直言不讳，条陈建议，提出“朝廷用人”不要以满汉划线，应该泯灭“满汉之见”。“满州贤才虽多，较之汉人十之三四。天下巡抚常满汉参半，总督则汉人无一也。何内满而外汉也？”还说：“三江两浙，天下人才渊薮，边隅之士，间出者无几。今则果于用边之人，不计其才，不计其操履，不计其资俸，而十年不调者，皆江浙之人，岂非有意见畛域？”话说得恳切。

　　实际乾隆开科，取治国干才，却是叶公好龙，一旦真的听到“直言”，就怒不可遏：“怒抵其卷于地者再，复取视之”。传说人家帮他说话：他是狂士。乾隆便说：“这种狂士，只能收卖废铜烂铁！”杭世骏由是罢归田里。他回到杭州，在闹市摆了一个地摊，布招大书：

　　“奉旨收卖废铜烂铁”。一时观者如堵。

　　记载，乾隆问杭世骏说：“你性情改过么？”世骏回答：“臣老矣，不能改也。”乾隆问：“何以老而不死？”回答说：“臣尚要歌咏太平。”笑了笑。龚自珍《杭大宗逸事状》中则说：“癸已岁，纯皇帝南巡，大宗迎驾湖上，上顾左右曰：‘杭世骏尚未死么？’大宗返舍，是夕卒。”不知是真是假。