Sárisápról és környékéről a rézkorból, a bronzkorból (mészbetétes edények kultúrája) és a vaskorból főleg edények ismertek, a rómaiak idejéből viszont egy település maradványait tárták fel. A rómaiak a hajdani Nádas-tó réges-rég kiapadt, melegvízű forrására fürdőházat építettek, melyet a törökök is használtak.

A kútház falában azal (illír törzsek közé tartozó nép) népviseletbe öltözött nőt ábrázoló, latin feliratú sírkövet találtak, amelyet ma a Nemzeti Múzeumban őriznek. A XIX. sz.-ban még állt a török kút, ma már a romjait sem találnánk meg. A községtől délre emelkedő Sas-hegy 173 m magas északi nyúlványán egy négyszög alaprajzú, feltehetően ókeresztény temetkezési kápolna alig észrevehető nyomai láthatók.

A település első írásos említése 1181-ből származik, a neve ekkor Saphy, Saph volt (mai neve 1389-től ismert). A török hódoltság alatt, Esztergom eleste (1543) után Sárisáp is elpusztult, újranépesülésére csak a Rákóczi-szabadságharc után került sor. Akkori birtokosa, Sándor Mihály felvidéki szlovák és magyar családokat költöztetett ide.

Az 1806 körül kezdődő szénbányászat, majd 1958-tól a kaolinbánya, valamint a többi ipari létesítmény fellendülést jelentett a sárisápiak életében. A településhez tartozó egykori bányászkolóniák közül Annavölgyibánya 1997-ben kivált, és Annavölgy néven önálló település lett.