Mahalia Jackson wuchs in New Orleans auf, wo sie zunächst in einer Baptistenkirche sang. Sie blieb zeitlebens Mitglied dieser Kirche. 1928 zog sie nach Chicago, um mit den Johnson Brothers, einer der ersten professionellen Gospelgruppen, aufzutreten.
Nachdem sich die Johnson Brothers Mitte der 1930er Jahre aufgelöst hatten, nahm Jackson 1937 bei Decca Records God’s Gonna Separate The Wheat From The Tares (in der Bedeutung: „Die Spreu vom Weizen trennen“ [wörtlich: Den Weizen vom Unkraut trennen]), My Lord, Keep Me Everyday und God Shall Wipe All Tears Away auf. Die Aufnahmen wurden mäßig erfolgreich, aber Jackson wurde eine populäre Konzertsängerin.
Sie machte eine Aufnahmepause bis 1946, als sie mit Apollo Records einen Vertrag abschloss und mehrere Singles veröffentlichte, die sich damals ebenfalls schlecht verkauften. Move on up a Little Higher (1948) wurde dann allerdings ein sehr großer Erfolg, die Geschäfte vermochten die starke Nachfrage kaum zu befriedigen. Sie wurde sowohl in den USA und bald darauf in Europa berühmt. I Can Put My Trust in Jesus (1952) gewann einen Preis der Französischen Akademie, während Silent Night in Norwegen die bestverkaufte Single wurde.
Jackson erhielt eine Radioserie bei CBS und schloss 1954 einen Vertrag mit Columbia Records. In den Jahren 1952, 1961, 1964, 1967, 1968 und 1971 führten sie umfangreiche Tourneen in die ganze Welt. Im Deutschen Fernsehen trat sie 1967 in einer Eurovisionsendung zum Start des Farbfernsehens mit anderen internationalen Stars auf. Des Weiteren trat sie in Filmen wie St. Louis Blues, Imitation of Life und The Best Man auf.
Die Karriere Mahalia Jacksons verlief Ende der 1950er und Anfang der 1960er Jahre weiter erfolgreich. Sie machte Aufnahmen mit Duke Ellington (Black, Brown and Beige) sowie Percy Faith und trat 1957 und 1958 beim Newport Jazz Festival auf, was von der Voice of America aufgezeichnet und ausgestrahlt wurde. In der Schlussszene von Douglas Sirks Film Solange es Menschen gibt sang sie Trouble of the world. Jackson sang ebenfalls beim Amtsantritt John F. Kennedys 1961, bei Martin Luther Kings „March on Washington for Jobs and Freedom“ und später auch bei Kings Bestattung.
In den späten 1960er Jahren verschlechterte sich ihr Gesundheitszustand. Im Juli 1969 hatte sie einen Auftritt beim Harlem Cultural Festival. Sie beendete ihre Auslandskarriere 1971 mit einem Konzert in München.
Mahalia Jackson starb Anfang 1972 mit 60 Jahren nach mehreren Herzinfarkten. Ihr Grab befindet sich auf dem Providence Memorial Park in Metairie im Bundesstaat Louisiana
