張衡出身於名門望族。其祖父張堪自小志高力行，被人稱為聖童，曾把家傳餘財數百萬讓給他的侄子。光武帝登基後張堪受薦拜官。曾被任為蜀郡
太守隨大司馬吳漢討伐割據蜀郡的公孫述，立有大功。其後又領兵抗擊匈奴有功，拜為漁陽(今北京附近)
太守。曾以數千騎兵擊破匈奴來犯的一萬騎兵。此後在他的任期內匈奴再也沒有敢來侵擾。他又教人民耕種，開稻田八千頃，人民由此致富。所以，有民謠歌頌他說：“張君為政，樂不可支。”張堪為官清廉。伐蜀時他是首先攻入成都的，但他對公孫述留下的堆積如山的珍寶毫無所取。蜀郡號稱天府，但張堪在奉調離蜀郡
太守任時乘的是一輛破車，攜帶的只有一卷布被囊。
張衡像他的祖父一樣，自小刻苦向學，很有文采。16歲以後曾離開家鄉到外地遊學。他先到了當時的學術文化中心三輔(今陝西西安一帶)。這一地區壯麗的山河和宏偉的秦漢古都遺址給他提供了豐富的文學創作素材。以後又到了東漢首都洛陽。在那兒，他進過當時的最高學府——太學，結識了一位青年學者崔瑗，與他結為摯友。崔瑗是當時的經學家、天文學家賈逵的學生，也精通天文、曆法、數學等學問。和帝永元十二年(公元100年)
張衡應南陽
太守鮑德之請，作了他的主簿，掌管文書工作。8年後鮑德調任京師，
張衡即辭官居家。在南陽期間他致力於探討天文、陰陽、歷算等學問，並反覆研究西漢
揚雄著的《太玄經》。他在這些方面的名聲引起了漢安帝的注意。永初五年(公元111年)
張衡被徵召進京，拜為郎中。 元初元年(公元114年)遷尚書郎。次年，遷太史令。以後曾調任他職，但5年後復為太史令。總計前後任此職達14年之久，
張衡許多重大的科學研究工作都是在這一階段裡完成的。順帝陽嘉二年(公元133年)升為侍中。但不久受到宦官排擠中傷，於永和元年(公元136年)調到京外，任河間王劉政的相。劉政是個驕橫奢侈、不守中央法典的人，地方許多豪強與他共為不法。
張衡到任後嚴整法紀，打擊豪強，使得上下肅然。3年後，他向順帝上表請求退休，但朝廷卻徵拜他為尚書。此事頗有蹊蹺，因尚書的官職遠低於侍中或相，他是否應徵，史載不彰。就在這一年(永和四年，即公元139年)他即告逝世。 據傳說，東漢時期偉大的科學家、文學家
張衡曾到過當時的隨縣，隨州舊有
張衡的讀書檯。
張衡是南陽西鄂(今河南南陽)人，與隨縣同郡且相距不遠，到過隨州不
無可能。 他曾針對讖緯風行於世的現實，勇敢地給東漢皇帝上疏，認為“國讖（chèn）虛妄，非聖人之法。”並說：“……此皆欺世罔俗……宜收藏國讖。一禁絕之。”
