王氏家族虽然不是地方大户，但还没到揭不开锅的地步，田昌五《王充评传》说“他的家庭是屡受排挤而行将落入贫苦劳动群众队伍中的家庭。”（《中国古代著名哲学家评传》第二卷）这个估计是合乎实际的。王家祖宗尽管在社会上大耍无赖，好勇斗气，但对王充还是十分痛爱的，也十分注意培养。《后汉书》本传说：“充少孤，乡里称孝。”似乎他从小不是失去父爱，就是缺乏母慈。这并不符合实际。王充《自纪》曰：充少“有巨人（大丈夫）之志，父未尝答，母未尝非，阎里未尝让（谴责）。”可见双亲俱在，且很慈爱，未尝见背。王充少时，不喜欢押呢戏辱等无聊游戏。其他小孩喜欢掩雀捕蝉，戏钱爬树，王充从来不去参与，表现出孤介寡和，端庄严整的气质。这引起王诵的重视，六岁便教他读书写字，八岁进他上小学。书馆中学童百余人，都因过失和书法不工遭到先生体罚，唯有王充书法日进，又无过错，未尝受责。学会写字，王充告别了书馆，开始了儒家经典的专经学习和儒家道德的修练。

《自纪》说：

手书既成，辞师，受《论语》《尚书》，日讽千字。经明德就，谢师而专门，援笔而众奇。

可见王充接受的正规教育仍然是儒家的伦理，使用的系统教材仍然是儒家的经典《论语》《尚书》，与常人并无两样。乡学既成，王充乃负笈千里，游学于京都洛阳。在洛阳，王充入太学，访名儒，阅百家，观大礼，大开了眼界，大增了学问，初步形成了他博大求实的学术风格。