ในวัยเยาว์ท่านต้องช่วยบิดามารดาทำนาและเลี้ยงน้อง แต่ท่านมีความสนใจในการปฏิบัติธรรม คือชอบสวดมนต์ก่อนนอนตามบิดาของท่านทุก ๆ คืน ทำให้สวดมนต์ได้ตั้งแต่อายุยังน้อย พ.ศ.๒๔๕๓ บิดาจึงนำท่านมาฝากพระสุนทรมุนี (ใจ) เจ้าอาวาสวัดมณีธุดงค์สงฆ์มูลิกาวาส (พ.ศ.๒๔๕๖ สมเด็จพระมหาสมณเจ้า กรมพระยาวชิรญาณวโรรส สกลมหาสังฆปรินายก ได้ประทานนามใหม่ว่า “วัดทุ่งแก้ว” ) และเข้ารับการศึกษาที่โรงเรียนวัดมณีธุดงค์เชลยศักดิ์ ได้เรียนวิชา ภาษาไทย ภาษาขอม เลขะ วิชาลงรักปิดทอง

     บรรพชาเป็นสามเณร เมื่อ พ.ศ. ๒๔๕๔ ณ วัดทุ่งแก้ว จังหวัดอุทัยธานี

     อุปสมบทเป็นพระภิกษุ เมื่อวันที่ วันที่ ๖ มีนาคม พ.ศ. ๒๔๕๘ ณ วัดทุ่งแก้ว โดยมี พระสุนทรมุนี (ใจ คงฺคสโร) เป็นพระอุปัชฌาจารย์ พระมหายอด อกฺกวํโส เป็นพระกรรมวาจาจารย์ ได้รับฉายาว่า “สุทตฺโต”

     ในระหว่างศึกษาอยู่ที่สำนักเรียนวัดมหาธาตุยุวราชรังสฤษฎิ์นี้ ท่านได้รับความเมตตาจาก สมเด็จพระวันรัต (เฮง เขมจารี) อบรมสั่งสอนธรรม จนมีความรู้ ความเข้าใจอย่างลึกซึ้ง แตกฉาน และมีโอกาสปรนนิบัติรับใช้ สมเด็จพระวันรัต (เฮง) อย่างใกล้ชิด เนื่องจากความที่เป็นคนอุทัยธานีเหมือนกัน ประกอบกับท่านเป็นผู้มีความวิริยะอุตสาหะและปฏิบัติกิจทางศาสนาได้อย่างเข้ม แข็ง มีศีลาจารวัตรงดงาม จึงเป็นที่ชื่นชอบของสมเด็จพระวันรัต (เฮง) เป็นอย่างยิ่ง นับว่าท่านเป็นศิษย์ที่ สมเด็จพระวันรัต (เอง) ให้ความเมตตาและไว้ว่างใจมากที่สุด

     นอกจากการศึกษาด้านปริยัติธรรมแล้ว พระราชอุทัยกวี (พุฒ) ยังมีความสนใจด้านวิปัสสนากรรมฐาน เป็นอย่างมาก ดังนั้น ในปี พ.ศ. ๒๔๙๖ จึงได้ไปศึกษาวิปัสสนากรรมฐานกับ พระภัททันตะ อาสภเถระ ธัมมาจริยะ ชาวพม่าที่เดินทางมาเผยแผ่ธรรมะด้านวิปัสสนากรรมฐานในประเทศไทย และได้นำความรู้มาอบรมสั่งสอนให้แก่ลูกศิษญ์ชาวอุทัยธานีและจังหวัดใกล้เคียงเป็นจำนวนมาก โดยเริ่มทำการสอนตั้งแต่ พ.ศ.๒๔๙๗ เป็นต้นมา และได้จัดตั้งวิปัสสนามูลนิธิวัดมณีสถิตกปิฏฐารามขึ้น โดยมีวัตถุประสงค์เพื่อบำเพ็ญทานและการกุศลในพุทธศาสนา ได้แก่การบำรุงสำนักวิปัสสนา และสำนักเรียนปริยัติธรรมวัดมณีสถิตกปิฏฐาราม และส่งเสริมกิจการการกุศลสาธารณประโยชน์ทั่วไป