《唐会要》卷六十四《史馆杂录下》记载说：“景龙二年四月二十日，侍中韦巨源、纪处讷、中书令杨再思、兵部侍郎宗楚客、中书侍郎萧至忠，并监修国史。其后，史官太子中允刘知几以监修者多，甚为国史之弊，于是求罢史职，奏记于萧至忠。”
刘知几辞去史任之后，出任太子中舍人，又为修文馆学士。

私撰史通

　　长安二年，开始私撰《史通》，详论史书之体例及内容，阐述自己对史学的见解，是中国第一部史学评论专著，对后世影响很大。 但并未投入主要精力。他在长安四年（704）曾作了《刘氏家史》十五卷和《谱考》三卷。神龙二年（706）中宗还京师，知几逗留东都。《史通·忤时》回顾了当时的情景：“会天子还京师，朝廷愿从者众。予求番次，在大驾后发日，因逗留不去，守司东都。杜门却扫，凡经三载。或有谮予躬为史臣，不书国事，而取乐丘园，私自著述者。由是驿召至京，令专执史笔。”

　　“驿召至京”在景龙二年（708），自神龙元年至景龙二年，知几“一为中允，四岁不迁”，但他“守司东都，杜门却扫，凡经三载”，定是集中精力撰写《史通》的三年。有人说他躬为史臣，不书国事，私自著述，就是指撰写《史通》一事。知几于景龙二年（708）被驿召至京，专领史事，迁秘书监。就在这时提出求退史职的要求。其实，他至少已集中三年的精力撰写着《史通》，至景龙四年（710）二月，全书完工，凡二十卷。

著述传家

　　刘知几在景云元年（710）迁太子左庶子，兼崇文馆学士。仍兼修国史，并加银青光禄大夫。太子左庶子是东宫官，东宫有左春坊，置左庶子二人，正四品上。掌侍从赞相，驳正启奏。总司经、典膳、药藏、内直、典设、宫门六局。崇文馆也是东宫设置的。贞观十三年置崇贤馆，上元二年避太子名，改名崇文馆。崇文馆学士二人，掌经籍图书，教授诸生，课试举送如弘文馆。银青光禄大夫的封号在官秩上相当于从三品。这年，李隆基立为东宫太子，因为刘知几的“几”字同李隆基的“基”字同音，为避太子名讳，知几便废名而以字行，因称刘子玄。上述情况可知，知几在玄宗为太子时便得到提升，在政治上有了积极性。景云二年（711），刘知几写《释蒙》一文，又皇太子李隆基将亲释奠于国学，主管部门草拟仪注，决定让随从官员都乘马著衣冠，刘知几以为不可，上议驳斥。