Великое княжество Смоленское за Вязьму держалось как за спасательный круг. Но и недруги не дремали. На западнорусские земли «положила глаз» Литва. Пока Москва собирала что поближе и решала проблемы с навязчивым статусом «Джучиева улуса», Литва в 1403 году отхватила Вязьму. Не то что бы под властью Вильны в те времена так уж плохо жилось, только вязьмичей тянуло к православным. Поэтому, когда в 1492 году у городских стен появилось войско Ивана III, крепость открыла ворота без боя.