El edificio donde se encuentra el Colegio Jesús y María era una casa palaciega del siglo XVII (1615). Constituye uno de los últimos ejemplos de la arquitectura doméstica del Renacimiento vallisoletano. Mandada edificar por Don Luis de Vitoria, hijo de Agustín de Vitoria y hermano de Miguel de Vitoria, en ella gastó parte de su juventud y de su hacienda.

_{Fachada principal y Escudos del Palacio los Vitoria}

Este propietario con aspiraciones de nobleza, fue persona importante por su cargo de Tesorero de las Alcabalas y Rentas Reales, gracias al cual amasó su fortuna personal. La casa, entonces, era una de las mayores y principales de la ciudad. El edificio se levantó sobre terrenos vendidos por el Cabildo vallisoletano y su fachada sur define uno de los cuatro lados de la plaza del Colegio de Santa Cruz. Posteriormente pasó a manos de Don Joaquín Altamirano, Regidor de Zamora, que la consiguió mediante litigio a la familia de los Vitoria.

Descripción de su arquitectura

El edificio presenta indudables influencias de la arquitectura Herreriana, tanto en el exterior, como en el patio de pilares. La casa se construyó con grandes dimensiones en su planta y en las tres alturas colocadas en tamaño decreciente sobre el semisótano, lo que causa sensación de estabilidad y de mayor altura. En la actualidad tiene una cuarta planta todo el edificio y una quinta más sobre la crujía de la plaza del Colegio de Santa Cruz.

La fachada principal se sitúa en la calle de Librería y su portada de dos cuerpos está centrada y flanqueada por los escudos de la familia. La gran puerta da al zaguán y está ordenada siguiendo el eje de una de las dos galerías mayores del patio, con lo que el eje de recorrido alcanza una longitud de cuarenta y cinco metros.

El patio, con cubierta acristalada actualmente, tiene cuatro pisos con galerías en tres de sus lados. El inferior posee una arquería que descansa sobre pilares herrerianos, como suponemos pudo ser el piso superior, ahora cerrado.

Elementos arquitectónicos

• La fachada es de piedra de sillería en la puerta, en las esquinas y en el semisótano, donde se abren las luceras de la bodega. El resto está enfoscado con una ornamentación de placas alrededor de las ventanas, en las impostas que separan las plantas y, a modo de falsas pilastras, en el tercer piso.
  
• La puerta adintelada presenta un tipo característico de este periodo que también lo podemos encontrar en portadas como las del nº 14 de la calle de San Martín, en la portada adyacente a la casa llamada "del caballo de Troya" en c/ Correo y en la desaparecida casa del Mayorazgo sita en c/ Ruiz Hernández 12, conservada en el patio del nuevo edificio.
• El tipo de balconada aparece también en la citada casa del Caballo de Troya, y de modo insistente en la arquitectura religiosa vallisoletana.