胡之綱,字仍仲,元朝婺州永康(今浙江永康市)人。
唐末,其祖先自天台遷到永康。宋室南渡後,考中進士科入仕有十人,持節分符,前後相繼。曾祖胡襜,官至欽州司法參軍。祖父胡岩,嘉定甲戌進士,官至知福州閩縣事。叔父胡居仁,淳祐丁未進士,知台州軍州事,胡居仁之子胡長孺。胡之綱與他的弟弟胡之純,都以經術文學知名。曾經受到上書推薦。他對於聲韻文字之學之說,自稱獨得精妙,他的著作未能流傳。人稱胡之綱、胡之純、胡長孺為三胡。