วัดพญากง เป็นวัดร้างนอกเกาะเมืองพระนครศรีอยุธยา มีพระประธานศิลาขาวขนาดใหญ่ อยู่ในท่าประทับนั่งห้อยพระบาท รวมถึงประวัติความเป็นมาของนิทานพื้นเมือง เรื่องพญากง พญาพาน ที่มาสร้างเป็นวัดขึ้นนอกเกาะเมือง ด้านทิศใต้
วัดพญากง มีประวัติที่มาของพระพุทธรูปศิลาขาว ปัจจุบันจัดแสดงอยู่ในพิพิธภัณฑสถานแห่งชาติ เจ้าสามพระยา เป็น”พระประธานศิลาขาวขนาดใหญ่” อยู่ในท่า ประทับนั่งห้อยพระบาท ซึ่งมีเรื่องราวความเป็นมาที่น่าศึกษาค้นคว้ามาก รวมถึงเป็นวัดที่ประวัติและความเป็นมาจากประวัตินิทานพื้นเมือง เรื่องพญากง พญาพาน มาสร้างเป็นวัดขึ้นนอกเกาะเมือง ด้านทิศใต้ ใช้ชื่อวัดพญากง พญาพาน
นับเป็นประวัติวัดร้างที่ค่อนข้างสำคัญและมีประวัติที่น่าสนใจ สมควรจะได้รับการขุดแต่งและบูรณะให้เป็นโบราณสถานสำคัญของ จังหวัด พระนครศรีอยุธยา เมืองมรดกโลก ได้อีกแห่งหนึ่ง ไม่ควรปล่อยให้ทิ้งร้างแบบนี้ หากปล่อยไปประวัติศาสตร์จะถูกลืม ทิ้งร้างเหมือนอีกหลายๆวัด และจะหาค้นหาเรื่องราวได้จากเพียงภาพถ่ายเท่านั้น
สำหรับวัดพญากง วัดนี้มีประวัติที่มาของพระพุทธรูปศิลาขาว องค์ที่มีความเป็นมาที่แปลกประหลาดอัศจรรย์ โดยในปีในปี พ.ศ.2481 ได้มีการขุดค้น โบราณสถาน วัดพระเมรุ จังหวัดนครปฐม โดย นายปิแอร์ ดูปองต์ (Pierre Dupont)” จาก “สำนักฝรั่งเศสแห่งปลายบูรพทิศ “ (École française d′Extrême-Orient (EFEO) และ หลวงบริบาลบุรีภัณฑ์ ได้ค้นพบชิ้นส่วนของพระพุทธรูปศิลาขาว และโบราณวัตถุมากมาย และได้นำชิ้นส่วนต่าง ๆ ไปเก็บรักษาไว้ที่พิพิธภัณฑ์พระปฐมเจดีย์ โดยวางเรียงรายไว้โดยรอบระเบียงรอบพระปฐมเจดีย์ ในการขุดครั้งนี้ ได้พบชิ้นส่วนแตกหักส่วนล่างของพระวรกายของ ”พระประธานศิลาขาวขนาดใหญ่” ที่แสดงให้เห็นว่าอยู่ในท่า “ประทับนั่งห้อยพระบาท” ที่ตรงแกนกลางซากอาคาร
ต่อมา ได้มีการพบพระพุทธรูปศิลาขาว ที่วัดพญากง วัดร้างนอกเกาะเมืองพระนครศรีอยุธยาและพระพุทธรูปเสด็จลงจากดาวดึงส์ เหนือพนัสบดี เป็นศิลปแบบทวารวดี (อยู่ในความครอบครองของเอกชน) ส่วนพระพุทธรูปศิลาขาว ได้นำไปซ่อมแซมและประดิษฐานไว้ที่วัดขุนพรหม วันดีคืนดี ก็มีคนลักลอบตัดเศียรไปจากวัดขุนพรหม ไปพบโผล่อยู่ที่ร้านขายของเก่าย่านเวิ้งนาครเกษม และได้ติดตามกลับคืนมาได้ และย้ายพระพุทธรูปที่วัดขุนพรหม มาเก็บรักษาไว้ ณ พิพิธภัณฑสถานแห่งชาติเจ้าสามพระยา
เมื่อตอนประกอบต่อองค์พระพุทธรูปศิลาขาว เพื่อจัดแสดง ได้มีการตรวจสอบกับชิ้นส่วนที่พบจากวัดพระเมรุ นครปฐม ได้พบว่า มีชิ้นส่วนด้านล่างขององค์พระพุทธรูปศิลาขาวที่สามารถนำไปต่อกันได้กับองค์ที่พบจากวัดพญากง แสดงให้เห็นว่า พระพุทธรูปศิลาขาวองค์ที่วัดพญากง นั้น ถูกเคลื่อนย้ายมาจาก เมืองนครไชยศรี ตั้งแต่สมัยกรุงศรีอยุธยาเป็นราชธานี
เพราะได้ปรากฏหลักฐานในพระราชพงศาวดารกรุงศรีอยุธยา ถึงการแบ่งเอาแขวงเมืองราชบุรี แขวงเมืองสุพรรณบุรี ตั้งเป็นเมืองนครชัยศรี ในราวสมัยสมเด็จพระมหาจักพรรดิ์ ( พ.ศ.2091 – พ.ศ.2111 ) โดยนำชิ้นส่วนพระพุทธรูปที่ขนมาจากเมืองนครชัยศรี และประวัตินิทานพื้นเมือง เรื่องพญากง พญาพาน มาสร้างเป็นวัดขึ้น โดยให้นามว่า วัด”พญากง” และ “วัดพญาพาน”