パスフレーズのスキップは推奨はされないため、OSではデフォルトはオフになっています。
前提としてssh configに秘密鍵のパスを指定します。
IdentityFile /Users/foo/.ssh/bar.key
ssh-agentにパスフレーズを追加します
ssh-add 秘密鍵のパス
Enter passphrase for 秘密鍵のパス:
ssh-agentを使用しない場合は下記をssh config にパスフレーズスキップの設定を記載します。
AddKeysToAgent yes
UseKeychain yes