गाज़ीपुर शब्द का जिक्र इतिहास के पन्नों में नहीं हैं पर कुछ इतिहासकार ऐसा मानते हैं कि राजा गढ़ी महारसी जमदग्नी के पिता थे। उस समय यह जगह को जंगलों से ढकी हुई थी जिसमें कई आश्रम थे जैसे कि यमदग्नी (परशुराम के पिता) आश्रम, पारसूम आश्रम, मदन वैन आदि। वहीं महर्षि गौतम का आश्रम यहां से करीब 16 किलोमीटर की दूरी पर था।