“#วัดศรีสวาย” ตั้งอยู่ห่างจากวัดมหาธาตุมาทางทิศใต้ ประมาณ 350 เมตร สันนิษฐานว่าเดิมสร้างขึ้นเพื่อเป็นเทวสถานตั้งแต่สมัยก่อนเมืองสุโขทัย ต่อมาภายหลังจึงดัดแปลงเป็นวัดในพระพุทธศาสนา
โบราณสถาน ประกอบด้วย ปรางค์ ๓ องค์ เป็นประธานของวัด ส่วนฐานก่อด้วยศิลาแลง และตอนบนก่อด้วยอิฐ หันหน้าไปทางทิศใต้ต่างจากโบราณสถานอื่นๆในเมืองสุโขทัยที่จะหันหน้าไปทางทิศตะวันออก ฐานกว้างด้านละ ๖.๕๐ เมตร ภายในปรางค์องค์ด้านตะวันออกมีภาพจิตรกรรมอยู่ด้วย
วิหาร ๒ ตอน ตั้งอยู่ด้านหน้าหรือทิศใต้ของปรางค์ ๓ องค์ เป็นวิหารที่ก่อด้วยอิฐและเสาศิลาแลง ฐานกว้าง ๑๔ เมตร ยาว ๒๒ เมตร วิหารตอนในมีการเจาะช่องแสงที่ผนัง ซึ่งเป็นที่นิยมในช่วงสุโขทัยตอนปลาย – อยุธยาตอนต้น
กำแพงแก้ว ล้อมรอบปรางค์ ๓ องค์ และส่วนหนึ่งของวิหารตอนในไว้ กว้าง ๓๔ เมตร ยาว ๔๔ เมตร ส่วนกำแพงวัด ก่อด้วยศิลาแลง ล้อมรอบโบราณสถานภายในไว้ทั้งหมดพื้นที่กว้าง ๑๐๖.๕๐ เมตร ยาว ๑๑๗.๕๐ เมตร และมีซุ้มประตูทางเข้าทางทิศใต้หรือด้านหน้าของวัด
จากหลักฐานทางโบราณคดีที่พบทำให้สันนิษฐานว่าวัดศรีสวายสร้างขึ้นราวพุทธศตวรรษที่ ๑๘ และมีการบูรณะเพิ่มเติมในสมัยอยุธยา สมเด็จฯ กรมพระยาดำรงราชานุภาพทรงสันนิษฐานไว้ว่า วัดนี้เดิมคงเป็นเทวสถานและคงมีชื่อเรียกว่า “ศรีศิวายะ” ซึ่งหมายถึงพระศิวะ เมื่อ พ.ศ. ๒๔๕๐ พระบาทสมเด็จพระมงกุฎเกล้าเจ้าอยู่หัว เมื่อครั้งดำรงพระราชอิสริยยศ พระบรมโอรสาธิราชได้เสด็จประพาสและทรงพบรูปพระสยม “พระศิวะ” ในวิหารและหลักไม้ปักอยู่ในโบสถ์ซึ่งทรงสันนิษฐานไว้ว่า “เดิมคงเป็นโบสถ์พราหมณ์ใช้ในพิธีโล้ชิงช้า (ตรียัมปวาย)” บริเวณรอบนอกกำแพงแก้วมีสระน้ำ ชาวบ้านเรียกว่า “สระลอยบาป” ตามศาสนาฮินดู อาจใช้ในพิธีลอยบาปหรือล้างบาป ในเวลาต่อมาวัดนี้กลายเป็นวัดในพระพุทธศาสนา และมีการพบพระพุทธรูปแบบศิลปะลพบุรีด้วย.
