1960年3月21日的沙佩維爾(Sharpeville)慘案讓白人政府和人口占多數的黑人之間的對立加劇。曼德拉放棄了非暴力抵抗,並成立了「民族之矛」(Umkhonto we Sizwe)——非國大的軍事組織。他到處給政府製造麻煩,這給他贏得了「黑色蘩蔞」("the Black Pimpernel")的綽號。1962年,他在納塔爾被捕,被判刑5年。
緊張的開放式大選談判在進行,伴隨著城市中的暴力和種族矛盾,內戰威脅近在眼前。在這樣的氛圍中,曼德拉與總統FW德克勒克(FW de Klerk)分享了1993年的諾貝爾和平獎。是德·克勒克下令釋放曼德拉,並解除了對非國大活動的禁令的。儘管同時出現在世界舞臺上,曼德拉繼續公開批評德克勒克。
南非歷史上首次開放的大選結果是,非國大及其聯盟得到了63%的選票。75歲的曼德拉成爲南非第一位黑人總統。他設立了「真相與和解委員會」(Truth and Reconciliation Commission),這被廣泛讚揚。在長期被種族隔離政府佔據的比勒陀利亞政府大廈,他開始了堅定和充滿魅力的執政,把具體的政府事務大量留給部長們。
曼德拉接手的國家被幾十年的種族矛盾所毒害,白人擔心黑人的報復。他頂住黨內極端的黑人種族主義者的壓力,領導了一個多種族的政府,德克勒克在前兩年擔任副總統。1995年南非作爲東道主贏得了橄欖球世界盃(Rugby World Cup),曼德拉身穿南非隊的球衣——這件球衣幾乎沒有被黑人穿過——給隊長弗朗索瓦·皮納爾(Francois Pienaar)頒發冠軍獎盃。