เมื่อท่านยังเด็ก ได้ไปอยู่ ในความอุปการะ ของคุณงิ้ว และคุณยายน้อย ในพระบรมมหาราชวัง ต่อมา เมื่อท่านอายุได้ ๘ ขวบ ก็ได้มาอยู่วัดโสมนัสวิหาร กับสมเด็จ พระมหาวีรวงศ์ เมื่อครั้ง เจ้าพระคุณสมเด็จฯ ยังเป็นพระมหาเปรียญอยู่ ชีวิตของท่าน จึงอยู่กับศาสนามา ตั้งแต่เยาว์วัย ท่านจึงมีอุปนิสัยน้อมมาในทางบรรพชา เมื่อายุยังน้อย และท่านก็ได้ศึกษา เล่าเรียนหนังสือไทย และหนังสือขอม อยู่ที่สำนักวัดโสมนัสวิหารนี้เอง

     เมื่อท่านได้ศึกษาเล่าเรียนอยู่ในวัดโสมนัสวิหาร จนมีอายุพอสมควรแล้ว ก็ได้บรรพชาเป็นสามเณร แต่บรรพชาเมื่ออายุเท่าไรไม่ปรากฏ ต่อมา เมื่อท่านอายุครบอุปสมบทแล้ว ก็ได้อุปสมบท เมื่อวันที่ ๕ พฤษภาคม พ.ศ. ๒๔๓๐ ณ พระอุโบสถวัดโสมนัสวิหาร โดยมี สมเด็จพระวันรัต (ทับ) เป็นพระอุปัชฌาย์ สมเด็จพระมหาวีรวงศ์ (ยัง) เมื่อครั้งยังเป็นพระอมรโมลี เป็นพระกรรมวาจาจารย์ ท่านจึงนับว่าเป็นผู้มีโชคดี ที่ได้พระอุปัชฌาย์และอาจารย์ ที่สูงทั้งความรู้ ความสามารถ ทั้งวัตรปฏิบัติ และสูงทั้งสมณศักดิ์

     ท่านเจ้าคุณพุทธวิริยากร ได้เล่าเรียนหนังสือไทย หนังสือขอม และศึกษาพระธรรมวินัย ในวัดโสมนัสวิหาร มาโดยตลอด ตั้งแต่สมัยสมเด็จพระวันรัต (ทับ) เจ้าอาวาสรูปที่หนึ่ง ท่านเจ้าคุณ พระราชพงษ์ปฏิพัทธ์ (ม.ร.ว.ล้น กล้วยไม้) เจ้าอาวาสรูปที่สอง จนถึงสมัย สมเด็จพระมหาวีรวงศ์ เจ้าอาวาสรูปที่สาม ของวัดโสมนัสวิหาร ซึ่งตลอดระยะเวลานี้ วัดโสมนัสวิหาร เป็นทั้งสำนักปริยัติ และสำนักปฏิบัติ ท่านได้ศึกษาเล่าเรียนพระปาฏิโมกข์ หลักสูตรสวดมนต์ของวัดจนจบ สวดภาณยักษ์ และภาณพระ (ภาณธรรมยุตหรือภาณยักษ์เล็ก) และสวดโสฬสปัญหา จนสามารถสอนศิษย์ได้ สำหรับการศึกษาบาลีนั้น ทราบว่าแม้ท่านเจ้าคุณพระพุทธวิริยากร ไม่ได้เป็นเปรียญ โดยเข้าสอบสนามหลวงก็ตาม แต่ท่านก็มีความรู้ภาษาบาลี ชนิดใช้การได้ มีความสามารถ ที่จะแปลบาลี และสอนศิษย์ได้