Kirjalikes ürikutes mainitakse linnust esmakordselt alles 1465. aastal seoses Konrad Uexkülli varanduse jagamisega tema poegade vahel. Vasallilinnus kuulus Saare-Lääne piiskopkonda. Kastelltüüpi ehitise funktsioonideks oli mandri ja saare vahelise laevaliikluse kontrollimine ja turvamine.
Virtsu linnus hävis 20. juulil 1533 Saare-Lääne piiskopi ja Brandenburgi markkrahvi Wilhelmi vahel puhkenud konflikti käigus. 1536. aasta Valmiera maapäeva otsusega keelati linnuse taastamine.