Egy 1295-ből származó oklevél bizonyítja, hogy akkoriban már állt a keszői vár, de csak az 1398-as évből származó dokumentumok alapján derül ki, hogy akkoriban ez a győri püspökség vára volt.

A XV. század elején Zsigmond király támogatói elfoglalták a várat az uralkodó ellen lázadó Hédervári János püspöktől, nem sokkal később azonban ismét a püspök kezében találjuk. Mátyás király egy, a XV. század második felében kiadott oklevelében felszólította kapitányait, hogy a dokumentumban jegyzett nemeseket ne vigyék a török elleni hadjáratokba, ugyanis ők a győri, a szombathelyi és a keszői (Kezy) várak védelmével, őrzésével lettek megbízva.

A XVII. században megrongálódott várat még felújította Széchényi György győri püspök, de a XVIII. század végén lerombolták, hogy annak köveiből utakat és egy új püspöki nyári kastélyt építhessenek.

Az épület pontos kinézetét egy 1592-es dokumentumban örökítették meg. A vár belső területe egy 70x50 méteres, 9-17 méteres vizesárokkal körülvett trapéz alakú terület. Az árok ma legjobban látható része a vár északnyugati sarkánál maradt meg, ahol 2 méter mély. A belső terület nyugati részén szerencsésen fennmaradt egy 9 méter széles, 20 méter hosszú palotarészlet néhány alapfala. A vár körüli védett terület nagysága 0,25 hektár.