bool newpos = true;
if (Input.GetKeyDown (KeyCode.Mouse1))//при нажатии ПКМ
{
if newpos = true
{
//меняешь тут положение пивота я не знаю к мышке у тебя или в фиксированную позицию
newpos=false;
}
else
{
//возвращаешь пивот по старым координатам,можно просто записывать вектора в переменные пока newpos=true если каждый раз точка А меняется
newpos=true;
}
}

using System.Collections;
using System.Collections.Generic;
using UnityEngine;

public class CameraAim : MonoBehaviour {

    public GameObject m_camera;
    public Vector3 newPos;
    public Vector3 startPos;
    bool newpos = true;

    void Update()
    {
        startPos = m_camera.transform.position;
        if (Input.GetKeyDown(KeyCode.Mouse1))
        {
            if (newpos == true)
            {
                m_camera.transform.position = new Vector3(transform.position.x + 0.583f, transform.position.y + 1.304f, transform.position.z + 0.46f); ;
                newpos = false;
            }
        }
       else
        {
            m_camera.transform.position = new Vector3(transform.position.x, transform.position.y + 1.304f, transform.position.z - 0.173f);
            newpos = true;
        }
    }
}

void Update()
{
    if (Input.GetKeyDown(KeyCode.Mouse1))
    {
  if (newpos == true)
  {
   startPos = m_camera.transform.position;
   m_camera.transform.position = new Vector3(transform.position.x + 0.583f, transform.position.y + 1.304f, transform.position.z + 0.46f);
   newpos = false;
  }
  else
  {
   m_camera.transform.position = startPos;
   newpos = true;
  }
    }
}

var camera1: Camera;
var camera2: Camera;

camera1.enabled = true;
camera2.enabled = false;

function Update() {
    if (Input.GetMouseButton(1)) {
        if (camera2.enabled == false)
            camera2.enabled = true;
            camera1.enabled = false;
    }
    else {
        camera2.enabled = false;
        camera1.enabled = true;
    }
}

function Update() {
    if (Input.GetMouseButton(1))
    {
        if (camera2.enabled == false)
  {
            camera2.enabled = true;
            camera1.enabled = false;
  }
  else
  {
        camera2.enabled = false;
        camera1.enabled = true;
  }
    }
}