郑玄不受征召，最初是领着学生们隐居在不其城南山里，进行注经和讲学活动。由于黄巾起义，天下大乱，后来终至粮食断绝，无法维持下去了，只好与学生们痛哭一场，分手各奔前程了。

献帝初平二年（191年），黄巾军攻占青州，郑玄在高密也待不下去了，便逃到徐州避乱。徐州牧陶谦曾大破黄巾军，境内比较安定，他听得郑玄到来，极为欢迎，以师友之礼相接待。郑玄把自己安顿在南城之山栖迟岩下的一所石屋里，很少出头露面，仍然夜以继日，孜孜不倦地研究儒家经典，注释《孝经》。

郑玄在徐州住了五六年，当时孔融为北海相，对郑玄特别尊崇，他一面为郑玄修葺故居庭院，一面再三派人敦请郑玄回郡。建安元年（196年），郑玄便从徐州返回高密。据《后汉书》本传记载，郑玄在回高密的路上曾遇到大批黄巾军，但他们却对郑玄十分尊重：“见玄皆拜，相约不敢入县境”。黄巾军尊重士人，这在历史上是有记载的，而郑玄是一位真正的名士，在颠沛流离中非礼不动，也是他能够获得黄巾军尊重的原因。据《后汉纪·献纪》，高密一县，竟未受黄巾抄掠，郑玄以自己的人格和名望保护了乡梓。

回到高密后，孔融待之甚厚，告诉手下僚属称之为郑君，不得直呼其名。这样，郑玄在70岁时算是结束了背井离乡的流亡生恬，他老当益壮，仍终日精研经典，博稽六艺，并时常睹览秘书纬术。可就在这一年，他竟又惨遭人伦大变，经受了老年丧子之痛。他只有一个儿子，名叫益恩，23岁时被北海相孔融举为孝廉。这一年春夏之间，袁绍之子袁谭率黄巾降兵攻北海，围孔融于都昌（今山东昌邑），情势万分紧急。益忍受父命率家兵前去营救，结果反被围杀，时年仅27岁。益恩死后，生有遗腹子，郑玄因其手文与自己相似，取名叫小同。

献帝建安五年（200年），郑玄已经74岁了，饱经沧桑，身体常觉不适。这年春天，他梦见孔子对他说：“起、起，今年岁在辰，来年岁在巴。”（《后汉书》本传）这一年是农历庚辰年，即龙年，而来年是辛巳年，也就是蛇年，旧说龙、蛇之年对圣贤不利。所以他醒来后很不高兴，认为自己当不久于人世了。这一年，袁绍与曹操的大军在官渡（今河南中牟县东）会战。袁绍为壮声势，争取民心和士望，叫袁谭逼迫郑玄随军，郑玄无奈，只好抱病而行。走到元城（今河北大名县境），病势加重，不能再走了，同年六月病逝于该县。病重和临危之时，他还在注释《周易》。

郑玄死时正处于大战乱之际，所以葬礼从简，但自郡守以下的官员和受业弟子也有一千多人纟衰纟至（披麻戴孝）送葬。最初葬于剧东（今山东益都境内），后又归葬于高密县西北50里刘宗山下的厉阜。现在此地仍存有唐代墓碑和郑玄祠庙，距此不远，则是孔融当年给他立的“郑公乡”。

郑玄的学生们十分景仰这位老师，为了纪念恩师的教诲，他们像孔门弟子为纪念孔子而编辑《论语》一样，也把郑玄平时和弟子们问答五经的言论编辑为《郑志》，共有8篇。

总括郑玄的一生，是为整理古代文化遗产而鞠躬尽瘁的一生，是献身学术与教育的一生，他身上集中了正派知识分子不慕权势、死守善道、忧民敬业等众多传统美德。