結論：Xbox Game Bar を使用する
「Windowsキー」＋「G」でXbox Game Barがオーバーレイにて表示されます。
オーバーレイ表示により、わざわざソフトやゲームをAltTabで裏に回さなくとも、フルスクリーン状態で個別のソフトごとに音量を調整可能です。
Xbox Game Barでは簡易版タスクマネージャが表示できたり、ハードウェアのパフォーマンスを確認できるため、ゲームユーザーやマルチタスクを行っている方にお勧めです。
今までタスクバーのサウンドアイコンから音量ミキサーで設定していた方もステップが減って、大音量でオープニングが流れることもなくなるのではないでしょうか。
全体ボリュームはスピーカーのつまみ（ヘッドホンつまみ）での調整をおすすめします。なおスピーカーは遅延のないワイヤレスヘッドセットがおすすめです。