เมื่ออายุได้ ๑๙ ปี ได้บรรพชาเป็นสามเณร เมื่อวันที่ ๑ กันยายน พ.ศ. ๒๔๖๑ ณ พัทธสีมาวัดวังมะนาว โดยมี พระอธิการหนึ่ง วัดห้วยโรง เป็นพระอุปัชฌาย์ ต่อมาเมื่ออายุครบบวช

     อุปสมบท เมื่อวันที่ ๑๖ กุมภาพันธ์ พ.ศ. ๒๔๖๒ ณ พัทธสีมาวัดหัวป่า ตำบลวัดยางงาม อำเภอปากท่อ จังหวัดราชบุรี โดยมี พระอธิการหนึ่ง วัดห้วยโรง เป็นพระอุปัชฌาย์ พระกรรมวาจาจารย์และพระอนุสาวนาจารย์ ไม่ปรากฏนามที่แน่ชัด ได้รับฉายาทางธรรมว่า “สุวณฺโณ”

     จนใน พ.ศ. ๒๔๖๕ หลวงพ่อปุ่นได้ขออนุญาตเจ้าอาวาสวัดหัวป่าออกธุดงค์ ในที่สุดท่านก็เดินทางมาถึงอำเภอท่าช้าง หรืออำเภอบ้านลาดในปัจจุบัน ชาวบ้านในถิ่นนั้นได้แลเห็นบุคลิกลักษณะที่น่าเลื่อมใสของท่าน จึงได้นิมนต์ให้ท่านอยู่จำพรรษาที่วัดขนอน หรือวัดใหม่ประเสริฐในปัจจุบัน

     โดยได้รับการแต่งตั้งเป็นเจ้าอาวาสวัดขนอน เมื่อ พ.ศ. ๒๔๖๙ ต่อมาใน พ.ศ. ๒๔๗๒ ท่านได้เปลี่ยนชื่อวัดขนอนเป็น “วัดใหม่ประเสริฐ” และได้รับวิสุงคามสีมาในปีเดียวกันนั้นเอง