Firefoxの仕様上、以下の場合はメニューボタンに「！」マークが表示されません。
・インストール完了後、拡張機能を有効化せずにFirefoxを再起動した場合
・拡張機能を無効化してアンインストールした後、一度もアドオンマネージャーを開かずに再インストールした場合

 

以下の手順を参照し、拡張機能を有効化してください。
1.Firefox右上のメニューボタンを開き、「アドオン」を選択します。
2.拡張機能の管理画面でマイナポータルアプリを探します。
3.「マイナポータルアプリ（無効）」と表示されているので、名前の横の「…」ボタンを押下します。
4.「有効化」を選択し、名前が「マイナポータルアプリ」に更新されたことを確認します。