伴随着知识和学问的增长，郑玄步入了青年时代。他虽然立志于潜心钻研经学，并已具有了一定的经学造诣，但由于家境贫寒，生活困苦，已没有条件继续专门攻读了，父母兄弟迫于生计问题，也都不允许他再不事产业而长年读书了。在18岁那年，他不得不出仕，充任乡啬夫之职。汉代地方政俯实行郡、县二级制，县以下设乡、亭、里、什、伍等，一般是五户为伍，十户为什，百户为里，十里一亭，十亭一乡。乡啬夫是乡一级地方小吏，掌管诉讼和税收等事。对于自己主管的工作，郑玄勤勤恳恳，十分认真，抚恤孤苦，甚得乡里的好评，不久便晋级而成为乡佐，大约相当于副乡长的职位。

虽然上司器重，乡亲拥护，但郑玄却不安于乡吏的工作，不愿为吏以谋生，而一心向往研究学术。因此，他在做乡吏的同时，还利用一切可以利用的机会刻苦学习，每逢休假日也不回家，而到学校中向先生请教各种学术问题。他的父亲对此极为反对，并一再督责和训斥他。但父、兄的反对也改变不了他的志向，他仍坚持不懈地努力学习，到21岁时，已经博览群书，具有了深厚的经学功底，并精于历数图纬之学，兼精算术，成了一位满腹才学的年轻学者了。

当时有一位名士名叫杜密，和大胆反对宦官的“天下名士”李膺齐名，并称为“李杜”。杜密升任太山太守、北海相，到高密县巡视时见到郑玄，认为他是一个不可多得的人才，就把他升调到郡里为吏录，使他得到学习和深造的机会。从此，郑玄便结束了他的乡吏生涯。

到了北海郡不久，郑玄又辞去吏职，入太学受业。他的老师名叫第五元先（第五是复性），是当时京兆平陵（今陕西长安）的大姓，曾任兖州刺史，是一位很有学问的经学博士。郑玄从师第五元先，先后学了《京氏易》、《公羊春秋》、《三统历》、《九章算术》等，俱达到了通晓的程度。其中《京氏易》是西汉京房写的，《公羊春秋》是战国公羊高传述、西汉初成书的，这两部书都是今文经学的重要典籍。《三统历》是西汉刘歆写的历法，《九章算术》则传说是西周周公著的，这两部书都属历数之学的重要著述。

此后10年左右，皆为郑玄折节求学的时代。他师事第五元先后，又从东郡张恭祖学习了《周官》、《礼记》、《左氏春秋》、《韩诗》、《古文尚书》等书，其中除《礼记》和《韩诗》外，均为古文经学的重要典籍。

郑玄向第五元先和张恭祖学习了今古文经学两大学派的重要经籍后，尚不以此为满足，又从陈球受业，学习了《律令》。在此期间，他还以明经学、表节操为目的，游学于幽、并、兖、豫各地（相当于今山东、河北、河南一带），遍访名儒，转益多师，虚心向他们学习，共同探讨学术问题。读万卷书，行万里路，不辞劳苦，孜孜求道，郑玄的青年时代，就是这样匆忙而充实地过去了。

到了而立之年后，郑玄已经成了一名有着较深造诣的经学家。他的学问在山东（指的山以东，今河南、河北、山东一带）已经可以说首屈一指、无出其右者了。