为了讲述自己的家族渊源，王充在《论衡·自纪篇》中顺带记载了祖上的这些不光彩行径，本意是为了凸显自己出身贫贱，“宗祖无淑懿之基”，成功靠的是自己，同时印证自己“疾虚妄”而禀实言之的人生信条，结果却遭到了很多人的误解。史学家刘知几认为这不合纲常，斥王充为“三千之罪人”，怎么能自抖家丑呢？后人也多有诟病，“历诋其祖父之恶，恐难称孝”。意思是，别人都可以记，就是你王充不能记！，但王充偏偏这样做了！在那个做出孝道就可以扬名、甚至可以做官的时代，王充反其道而行之，不为祖上讳，其特立独行可见一斑。
　　在王家迁居上虞后不久，王诵迎来了长子的诞生，他就是王充。而此时王家已十分穷困，“贫无一亩庇身”，“贱无斗石之秩”。王充十岁左右时候父亲去世，成为孤儿，家族顶梁柱的倒下使王充家庭更趋残破。

孤门细族
　　王充一生业儒业道，仕路不亨，只作过几任郡县僚属，且多坎坷沮阻，从事迹上看，既无悲歌慷慨之行，也无惊天动地之业。因此无论是他自己写的长篇自纪，还是范晔为他作的正史传记，他的事迹都甚寥寥，实在无法引人入胜。
　　王充自谓出自“孤门细族”，但种种迹象表明，王家祖上还是比较风光的。《论衡·自纪篇》（下引此书，只注篇名）曰：王充者，会稽上虞人也，字仲任。其先本魏郡元城，一姓孙一，几世尝从军有功，封会稽阳亭。一岁仓卒国绝，因家焉。以农桑为业。世祖勇任气，卒咸不揆（原谅）于人。岁凶，横道伤杀，怨仇众多。会世扰乱，恐为仇家所擒，祖父汛举家担载，就安会稽，留钱唐县，以商贾为事。
　　元城，旧县，在今河北大名县东北。充说其先“一姓孙一”，字颇费解，论者疑有脱误，甚是。根据上下文意，后“一”字下当脱“姓王”二字。王氏意谓其先祖“一姓孙，一姓王”。同祖两姓，必是一姓之分化。颇疑王充祖先乃王孙氏之族，为先秦某工族之后，后来才分为二姓：一姓王，一姓孙。由此看来，王充的血统曾是很高贵的。
　　在汉代，王充祖先因功受封会稽阳亭。亭侯是汉代军功爵之一。汉制，从军立功者，依军功大小可食邑于县、乡、亭。十里一亭，十亭一乡，乡以上则是县。亭的大小，约相当于后世的堡或村。级别不高，但可坐食其税，是个中小地主。可惜好景不长，有一年，王充家在一次突发事变中，失掉了爵命和地位。无爵可继，有家难归，王充的祖先们只好就近安置下来，男耕女织，以农桑为业，成了会稽郡人氏。