開湯伝説としては、永禄年間に海翁和尚が利根川の崖から立ち上がる煙を発見したのが草創と伝えられる。 水上温泉が有名になったのは、若山牧水の「みなかみ紀行」であり、この頃には既に２０ないし３０の宿が構えていたと記されている。 もっとも清水トンネルが開通するまでは、一帯は隔絶された深山幽谷の温泉地として知られた。 しかしながら、温泉情緒と」雄大な渓谷美が調和した温泉として多くの文人に愛され、牧水以外にも太宰治、北原白秋、与謝野晶子などの多くの文人墨客が訪れたという。 当時は水上温泉という名ではなく、湯原温泉とよばれた。 今日でもこの地名を用いることがある。