इस त्योहार के पीछे की कथा गोवर्धन नाम की एक पहाड़ी के आसपास केंद्रित है जिसे कृष्ण ने मूसलाधार बारिश से वहां रहने वाले लोगों को आश्रय देने के लिए उठाया था। इस प्रकार, यह गाय के गोबर के छोटे-छोटे टीले बनाकर मनाया जाता है जो पहाड़ी और भगवान गोवर्धन की प्रार्थना का प्रतीक है।
कान्हा की नगरी मथुरा में स्थित गोवर्धन पर्वत एक समय में दुनिया का सबसे बड़ा पर्वत था। कहा जाता है कि यह इतना बड़ा था कि सूर्य को भी ढ़क लेता था। इस पर्वत को भगवान श्रीकृष्ण ने द्वापर युग में अपनी उंगली पर उठाकर इंद्र के प्रकोप से ब्रज को लोगों की मदद की थी। गोवर्धन पर्वत को गिरिराज पर्वत भी कहा जाता है।
भगवान कृष्ण ने अपने गांव मथुरा को भयंकर बारिश और आंधी से बचाने के लिए अपने बचपन के दौरान गोवर्धन पहाड़ी को एक उंगली पर उठा लिया था। इस पहाड़ी को इसलिए पवित्र माना जाता है और गुरु पूर्णिमा, गोवर्धन पूजा पर भक्तों द्वारा पहाड़ के चारों ओर 23 किमी नंगे पैर चलकर भक्ति की जाती है।