Nu este un secret pentru nimeni că a fost scris după ce George Harrison, care era un mare fan, i-a spus lui John Bonham că problema cu Led Zeppelin este că nu fac balade. Bonzo a adus ideea, iar restul trupei a lucrat cu el pentru a o pune împreună. Este unul dintre puținele cântece Zeppelin în care toți cei patru membri au împărțit creditul compozitorului. Jimmy a inclus primele două note (nu acorduri, așa cum este cunoscut pe scară largă) ale cântecului Beatles scris de George "Something" în intro-ul la "The Rain Song". Led Zeppelin interpretând The Rain Song live la Festivalul Knebworth, Stevenage, Marea Britanie, în 1979