Se le llama tierra por que el potencial eléctrico debe ser igual al del Planeta Tierra, pero el punto a tierra en un circuito solo es una referencia que indica donde será 0V.
Para explicártelo simple, el voltaje es diferencia de potencial eléctrico, al ser solo una diferencia no es estrictamente absoluto y su valor depende de donde se mide. Supongamos que tu mides 174cm de alto y un niño 135cm, la diferencia seria de 39cm, pero el niño esta parado sobre una silla de 45cm de alto, entonces respecto a ti, estaría más arriba. La idea de conexión a tierra es la de quitar esa silla para que el niño también se pare en el suelo y se midan desde el mismo punto.
Entonces, si se conecta a positivo o negativo lo que debería ser tierra también es relativo. ¿Qué punto debe ser considerado como el voltaje cero? Si hablamos de una batería de 9V por ejemplo, tenemos la terminal positiva y la negativa, en el caso de que el circuito necesita +9V para funcionar, entonces el voltaje cero debe ser tomado desde la terminal negativa para que esta sea nuestra tierra donde se pararan los demás voltajes a medir, si se necesita -9V entonces tendríamos que conectar la terminal positiva a tierra.
También hay otro punto, entre si conectar a tierra física (aterrizar) o dejar "tierra flotante", la primera es mediante la conexión de la tierra en el circuito con el planeta Tierra, ya sea por conexión al terminar de tierra en la toma electica o solo por el chasis metálico esperando que toque con la tierra físicamente.
La segunda es en circuitos aislados donde se considera tierra un punto del circuito pero no necesariamente se conecta físicamente a tierra, para el circuito se debe considerar como tierra y ser 0V pero en la practica puede tener valores diferentes al planeta Tierra. La tierra flotante puede ser accidental lo que puede causar efectos indeseables. Si es intencionada para generar valores de voltajes necesarios en el circuito a partir de una fuente o varias, en algunos casos incluso no debe conectarse a tierra física por que da problemas con cortos circuitos entre la tierra flotante y la tierra en la fuente de alimentación que la genera.