黄淮的父亲为了避祸，隐居山中，用心教导黄淮读书，黄淮少年聪颖，5岁就能写诗。31岁的黄淮进京赶考，一举考中进士，朱元璋看了黄淮的试卷后，对名将耿炳文说：“黄淮的才华，恐怕不在他的老乡宋濂之下。”因此，赐黄淮为中书舍人，时常让黄淮发表自己的政见。

朱元璋驾崩后，建文帝登基，黄子澄建议削藩，黄淮认为不妥，建文帝最终选择重用黄子澄而冷落黄淮。朱棣登基，听闻黄淮早年曾反对削藩，因此召黄淮入朝，当时朱棣刚登基不久，靖难之役后国家出现很多问题，黄淮针对这些问题给朱棣提出一系列的建议，每条建议都非常合适，朱棣经常邀请黄淮入宫问政，二人时常聊到深夜。

朱棣成立内阁，第一批进入内阁的大臣有7个，分别是：解缙、杨士奇、杨荣、黄淮、胡广、胡俨、金幼孜。这7人都是当时的饱学之士，平时帮朱棣处理日常的政务，他们类似于宰相，和宰相不同的是，内阁只有议政的权力，最后的决策还是得皇帝批准。这7人中，朱棣虽然欣赏解缙的才华，欣赏杨士奇的睿智，但缺让黄淮任首辅。

黄淮虽然是明朝第一位内阁首辅，但他在首辅任上只干了3个多月，不久就被调到翰林院编修。朱棣登基后，面临最大的困扰就是太子人选，因为嫡长子朱高炽身材肥胖，而且略有残疾，次子朱高煦和朱棣非常相像，并且在“靖难”中立下赫赫战功。所以，朱棣非常犹豫，黄淮和解缙等都是传统的儒生，他们都支持嫡长子继承制。因此，在朱棣询问二人的意见时，黄淮和解缙不约而同的建议“立长”，朱高炽成为太子之后，黄淮也成了太子党的核心成员，但这遭到了汉王朱高煦的记恨。

朱棣亲征回京，太子朱高炽迎驾来迟，朱高煦向朱棣进谗言，说朱高炽和支持太子的大臣们，根本没把皇帝放在眼里。朱棣龙颜大怒，将黄淮、杨溥、蹇义三位太子党核心成员全部问罪，关押到锦衣卫诏狱，狱中他赋诗表爱君念亲，忧郁自适之怀，后整理成集，名为《省愆集》，其间与杨士奇奉敕编修而成《历代名臣奏议》350卷。

这一关，就是10年，在明朝，进了诏狱的人，能够活着出来的可能性极小，但这三人都扛了过来，黄淮在受刑的过程中，没有说太子一句坏话，让朱棣非常佩服，朱棣下令善待黄淮，因为朱棣隐约觉得，自己百年之后，黄淮定能成为太子的心腹大臣。

朱棣驾崩，朱高炽继位，是为明仁宗，黄淮终于出狱，官复原职。黄淮在明仁宗、明宣宗时期，夙兴夜寐，为明朝操碎了心，是“仁宣之治”的主要功臣之一。

黄淮晚年居住在茶山南柳“寿征庵”中达二十来年，放情田园之间，怡然自乐，在其《首夏述怀》诗中曰：“杖策田塍间，歌咏聊自娱。”《介庵集》之《归田稿》六卷，计173篇，即是该时段所着述。

黄淮生于元朝末年，从洪武三十年入朝，到明英宗时期病逝，历经洪武、建文、永乐、洪熙、宣德、正统六朝，他治事果断，为人通达，为一代名臣。