失掉了封爵的王充列祖列宗，都骁勇使气，结果结怨甚多，众人皆怨。一遇天灾岁歉，王充的祖先们又干些拦路抢劫，杀人越货的勾当，弄得千夫所指。在王充祖父王汛手上，正值西汉末年天下动荡，秩序大乱，王汛担心乱中被仇家绑票，于是收拾细软，“举家担载”，或肩挑，或车载，离开阳亭，先迁会稽（今浙江绍兴），最后留居于钱塘县，以转手倒卖，贾贩经商为业。由此可见，王充的家世，由先秦王孙，而西汉封侯，进而农桑贾贩，真是江河日下，一代不如一代。
　　王充的父辈共有二人：王蒙、王诵。王诵即是王充的父亲。王充祖辈好勇任气之习，至王蒙、王诵更是有过之而无不及，终于又与地方豪强丁伯家结下深仇，钱塘也不能呆下去了，遂又举家迁入上虞。
　　这真是一个十足的破落之家，到王充出世时，已是“贫无一亩庇身”，“贱无斗石之秩”，再加“宗祖无淑懿之德”。确实是一个“孤门细族”之家（《自纪》）。在这个家里，迎接王充降临的，不仅没有任何财产、名誉地位，而且更让他背上了一个先人无德，祖宗无行的沉重包袱。以致后来王充成名后，还有人以此来讥讽他。王充在《论衡·自纪篇》中详尽地记载了这些家庭状况，是比较真实的。对此，刘知几却不以为然，认为：“王充之《自纪》也，述其父祖不肖，为州闾所鄙”，“必责之以名教，实三千之罪人也！”（《史通·序传篇》）实在不是通达之论。

幼读经史
　　王氏家族虽然不是地方大户，但还没到揭不开锅的地步，田昌五《王充评传》说“他的家庭是屡受排挤而行将落入贫苦劳动群众队伍中的家庭。”（《中国古代著名哲学家评传》第二卷）这个估计是合乎实际的。王家祖宗尽管在社会上大耍无赖，好勇斗气，但对王充还是十分痛爱的，也十分注意培养。《后汉书》本传说：“充少孤，乡里称孝。”似乎他从小不是失去父爱，就是缺乏母慈。这并不符合实际。王充《自纪》曰：充少“有巨人（大丈夫）之志，父未尝答，母未尝非，阎里未尝让(谴责)。”可见双亲俱在，且很慈爱，未尝见背。王充少时，不喜欢押呢戏辱等无聊游戏。其他小孩喜欢掩雀捕蝉，戏钱爬树，王充从来不去参与，表现出孤介寡和，端庄严整的气质。这引起王诵的重视，六岁便教他读书写字，八岁进他上小学。书馆中学童百余人，都因过失和书法不工遭到先生体罚，唯有王充书法日进，又无过错，未尝受责。学会写字，王充告别了书馆，开始了儒家经典的专经学习和儒家道德的修练。