市区町村の窓口で行う手続きはありません。
スマホ用電子証明書を引き続き利用する場合、ご自身のスマートフォンからマイナンバーカード用電子証明書を更新手続の完了後、そのマイナンバーカードを用いて再度スマホ用電子証明書の利用申請を行ってください。