पक्षीराज गरुड़ से शत्रुता हो जाने के कारण वह यमुना नदी में रहने लगा था।
इस त्योहार के पीछे की कथा गोवर्धन नाम की एक पहाड़ी के आसपास केंद्रित है जिसे कृष्ण ने मूसलाधार बारिश से वहां रहने वाले लोगों को आश्रय देने के लिए उठाया था। इस प्रकार, यह गाय के गोबर के छोटे-छोटे टीले बनाकर मनाया जाता है जो पहाड़ी और भगवान गोवर्धन की प्रार्थना का प्रतीक है।
कालिया अपने पिछले जन्म में ऋषि "वेदशिरा" थे जिन्होंने घोर तपस्या की थी।