La presenza umana nel territorio di Montemurro è attestata già tra il IV e il III secolo a.C., come dimostrano i ritrovamenti archeologici rinvenuti nell'area di Piani Parete: frammenti ceramici, resti di fattorie rurali e una necropoli con corredi, tra cui cinturoni decorati, vasi, candelabri e frutti fittili votivi. Una testimonianza preziosa della sua posizione strategica lungo le antiche vie commerciali controllate dal fiume Agri (Akiris), che collegava il Mar Ionio al Tirreno attraverso la Val d'Agri.
L'etimologia del nome Montemurro potrebbe derivare – secondo alcuni studiosi – da Mons Morus ("Monte del moro"), in riferimento all'occupazione saracena del Sud Italia, oppure dalla conformazione geologica del luogo: un monte di pietra arenaria sovrastato da un banco di argilla, quasi monte sopra monte.
L'insediamento medievale sorse attorno all'anno Mille, quando le incursioni saracene provenienti dalla vicina Grumentum — uno dei principali centri lucani dell'epoca romana — spinsero gli abitanti ad abbandonare la pianura. Il primo nucleo sorse come castrum fortificato e divenne ben presto centro monastico basiliano, poi affidato nell'XI secolo alla diocesi di Tricarico, assumendo un ruolo spirituale centralissimo nella valle. Nel 2004, scavi archeologici hanno riportato alla luce due edifici paralleli, con funzioni differenti ma tra loro complementari, a conferma dell'importanza del primo complesso religioso insediato in quest'area.
Con l'arrivo dei Normanni, Montemurro conobbe una fase di espansione economica. Tra Seicento e Settecento divenne uno dei centri più attivi della valle, grazie alla prosperità di mulini ad acqua, frantoi e concerie, già citati in documenti dell'epoca come riferimento produttivo d'eccellenza. Il borgo raggiunse gli 8.000 abitanti, con una fiorente economia basata su cereali, olio, vini e lavorazione delle pelli, la celebre "concia alla montemurrese".
Nei secoli successivi, Montemurro fece parte del feudo di Montescaglioso, della sede episcopale di Tricarico, e fu dominio dei Sanseverino e dei Carafa. Nell'Ottocento divenne protagonista dell'Unità d'Italia, grazie a Giacinto Albini, il "Mazzini lucano", leader dell'insurrezione antiborbonica del 1860.
Il paese fu però duramente colpito dal terremoto del 1857, dalla frana del 1907 e dal sisma del 1980, eventi che causarono un forte spopolamento e una massiccia emigrazione.
Montemurro è anche la patria del poeta-ingegnere Leonardo Sinisgalli (1908–1981), genio poliedrico capace di unire scienza e poesia, direttore della rivista "Civiltà delle Macchine", amico di Ungaretti, Olivetti e Fermi. È sepolto nel cimitero del borgo.
Tra le altre figure illustri si ricordano Giuseppe Capocasale, filosofo del XVIII secolo; Maria Padula, pittrice neorealista; e i pittori seicenteschi della scuola napoletana Sellitto e Manecchia.
