内蒙古托克托县河口镇以上的黄河河段为黄河上游。上游河段全长3472千米，流域面积38.6万平方千米，流域面积占全黄河总量的51.3%。上游河段总落差3496米，平均比降为1‰；河段汇入的较大支流（流域面积1000平方千米以上）43条，径流量占全河的54%；上游河段年来沙量只占全河年来沙量的8%，水多沙少，是黄河的清水来源。上游河道受阿尼玛卿山、西倾山、青海南山的控制而呈Ｓ形弯曲。黄河上游根据河道特性的不同，又可分为河源段、峡谷段和冲积平原三部分。
从青海卡日曲至青海贵德龙羊峡以上部分为河源段。河源段从卡日曲始，经星宿海、扎陵湖、鄂陵湖到玛多，绕过阿尼玛卿山和西倾山，穿过龙羊峡到达青海贵德。该段河流大部分流经于三四千米的高原上，河流曲折迂回，两岸多为湖泊、沼泽、草滩，水质较清，水流稳定，产水量大。河段内有扎陵湖、鄂陵湖，两湖海拔高程都在4260米以上，蓄水量分别为47亿立方米和108亿立方米，为中国最大的高原淡水湖。青海玛多至甘肃玛曲区间，黄河流经巴颜喀拉山与阿尼玛卿山之间的古盆地和低山丘陵，大部分河段河谷宽阔，间或有几段峡谷。甘肃玛曲至青海贵德龙羊峡区间，黄河流经高山峡谷，水流湍急，水力资源丰富。发源于四川岷山的支流白河、黑河在该段内汇入黄河。
从青海龙羊峡到宁夏青铜峡部分为峡谷段。该段河道流经山地丘陵，因岩石性质的不同，形成峡谷和宽谷相间的形势：在坚硬的片麻岩、花岗岩及南山系变质岩地段形成峡谷，在疏松的砂页岩、红色岩系地段形成宽谷。该段有龙羊峡、积石峡、刘家峡、八盘峡、青铜峡等20个峡谷，峡谷两岸均为悬崖峭壁，河床狭窄、河道比降大、水流湍急。该段贵德至兰州间，是黄河三个支流集中区段之一，有洮河、湟水等重要支流汇入，使黄河水量大增。龙羊峡至宁夏下河沿的干流河段是黄河水力资源的“富矿”区，也是中国重点开发建设的水电基地之一。
从宁夏青铜峡至内蒙古托克托县河口镇部分为冲积平原段。黄河出青铜峡后，沿鄂尔多斯高原的西北边界向东北方向流动，然后向东直抵河口镇。沿河所经区域大部为荒漠和荒漠草原，基本无支流注入，干流河床平缓，水流缓慢，两岸有大片冲积平原，即著名的银川平原与河套平原。沿河平原不同程度地存在洪水和凌汛灾害。河套平原西起宁夏下河沿，东至内蒙古河口镇，长达900千米，宽30～50千米，是著名的引黄灌区，灌溉历史悠久，自古有“黄河百害，唯富一套”的说法。
