गया की उत्तरी सीमा पर पहाड़ियों का एक समूह है जो बराबर नाम से प्रसिद्ध है। इसकी सिद्धेश्वर चोटी पर सिद्धेश्वर नाथ महादेव का मंदिर है। पास के एक शिलालेख से यहां का शिवलिंग छठी सातवीं सदी का बना हुआ मालूम पड़ता है। पहाड़ पर दो ऐसे कुंड है जिन का जल झरने के रूप में बहकर नीचे आता है । यहां का जल पताल गंगा कहलाता है। यहां भादो के अनंत चतुर्दशी के दिन मेला लगता है। बराबर पहाड़ियों में अशोक के बनवाये चार सुंदर गुफाएं हैं। जो आज इन नामों से प्रसिद्ध है- कर्ण चॉपर गुफा, सुदामा गुफा, लोमस ऋषि गुफा और विश्व झोपड़ी। विश्व झोपड़ी को लोग विश्वामित्र की गुफा बताते हैं। इन गुफाओं के पास अशोक के शिलालेख भी हैं।
सिद्धेश्वर नाथ चोटी से आधा मील पूर्व नागार्जुनी पहाड़ियाँ है। कहते हैं कि यहां प्रसिद्ध बौद्ध सन्यासी नागार्जुन रहते थे। यहां तीन गुफाएं हैं। सबसे बड़ी गुफा गोपीगुफा कहलाता है। यह गुफा अशोक के पुत्र दशरथ के बनाए बताए जाते हैं। इन गुफाओं के पास भी शिलालेख है। इन पहाड़ियों में सात गुफा होने कारण लोग इन्हें सतघरवा भी कहते हैं। यहां पहले बौद्ध विहार होना भी बताया जाता है। कुछ पुराने भवनों के भग्नावशेष मिलते हैं जहां मुसलमानों के कब्रे भी देखने में आती है।