郑玄虽然已经学富五车，但他自己却毫不满足，学无止境，越学反越觉得知识不够用。当他感到关东（指函谷关以东）学者已经无人再可请教了的时候，便通过友人卢植的关系，离开故国，千里迢迢西入关中，拜扶风马融为师，以求进一步深造。这一年，郑玄是33岁。

马融是扶风茂陵（今属陕西兴平）人，为当时全国最著名的经学大师，学问十分渊博。他遍注儒家经典，使古文经学达到了成熟的境地。他的门徒上千，长年追随在身边的就有四百余人，其中优秀者亦达50人以上。其为人比较骄贵和讲究，虽然门徒众多，但他只亲自面授少数高材生，其余学生则由这些高材生转相授业。郑玄投学门下后，三年不为马融所看重，甚至一直没能见到他的面，只能听其高足弟子们的讲授。但郑玄并未因此而放松学习，仍旧日夜寻究诵习，毫无怠倦。

有一次，马融和他的一些高足弟子在一起演算浑天（古代一种天文学）问题，遇到了疑难而不能自解。有人说郑玄精于数学，于是就把他召去相见。郑它当场很快就圆满地解决了问题，使马融与在场的弟子们都惊服不已，马融对卢植说：“我和你都不如他呀！”自此以后，马融对郑玄十分看重，郑玄便把平时学习中发现而未解决的疑难问题一一向马融求教，对于篇籍的奥旨寻微探幽，无不精研，终得百尺竿头再进一步。

郑玄在马融门下学习了7年，因父母老迈需要归养，就向马融告辞回山东故里。马融此时已经感到郑玄是个了不起的人才，甚至会超过自己，他深有感慨地对弟子们说：“郑生今去，吾道东矣！”意思是说，由他承传的儒家学术思想，一定会由于郑玄的传播而在关东发扬光大。