Al período ibérico le sigue un período romano avalado por el nombre supuestamente romano derivado de Castrum Fabii y por el hallazgo de diversos paramentos en la construcción del castillo que tienen ese origen.
Del período árabe se tienen referencias acerca de un castillo situado en Castielfabib (Qastil al’Habib) del que se dice que era una fortaleza inexpugnable perteneciente a los reyes de Albarracín.
Otros vestigios materiales los pueden constituir las construcciones urbanas a base de tapiales, voladizos de sus aleros, el sistema de regadío, e incluso su nombre.
Tras este poco conocido período se iniciaría la Reconquista en la temprana fecha de 1.210, a manos de Pedro II, el cual tomaría el castillo tras un largo asedio, aunque tal hecho no tuvo continuidad, dada la temprana muerte del monarca (1.213), ya que fue ganado nuevamente por los musulmanes mediante conquista o por acuerdos reales. Sin poderse atribuir con certeza la reconquista definitiva a Jaime I si se puede afirmar que en febrero de 1.213 ya estaba plenamente en manos del monarca cristiano.
Se le atribuyen un pasado histórico que se remonta a las civilizaciones ibéricas
Castielfabib se halla emplazado sobre un pronunciado resalte rocoso en el valle
Una vez conquistada la villa el rey Pedro II en atención a la ayuda prestada por la Orden de San Juan de Jerusalén, concedió a dicha orden parte de los diezmos y primicias hasta 1.319, fecha en la que se disolvió, pasando tales derechos a la Orden de Montesa.
Dentro de este período medieval es donde cabe situar la construcción de la Iglesia de Nª Señora de los Ángeles, un templo realizado dentro de la tipología propia de la época como es el Gótico de Reconquista, tomando como punto de partida parte de las dependencias del castillo.
A partir del siglo XIV los datos que conocemos sobre Castielfabib no hacen sino aludir a los continuos conflictos bélicos que desde 1.364 con la Guerra de Castilla, no dejaron de sucederse, causando continuos destrozos y devastaciones en el conjunto de la Villa y su castillo, como son la Guerra de la Independencia, las Guerras Carlistas o la última Guerra Civil.
Castielfabib se halla emplazado sobre un pronunciado resalte rocoso en el valle, el cual culmina en un gran peñasco de fácil defensa aprovechado para levantar el castillo. El pueblo se extendió inicialmente por el pequeño collado existente entre el castillo y el cerro del El Torrejón, situado al SO, desde donde se expandió por la ladera meridional (barrio de La Solana). Estuvo amurallado y de este recinto se conservan tres torres y varios lienzos de muralla integrados en las casas, así como parte de El Torrejón que se halla situado en el adyacente cerro de su mismo nombre. A partir de esta zona originaria, la población se extendió principalmente por la vertiente oriental, formando el barrio de La Torreta. más tardía y de menores dimensiones fue la expansión extramuros hacia poniente, dando lugar al barrio de El Barrioso.
El acentuado desnivel del casco antiguo ha originado un urbanismo adaptado a la pendiente, escalonado y con elevada densidad de construcción (se da la circunstancia de la existencia de casas de numerosos pisos, todos los cuales tienen acceso directo a una calle diferente). Esta configuración justifica la interesante perspectiva del pueblo visto desde el exterior. En su interior presenta una morfología muy irregular, de calles estrechas y acentuada pendiente, por las que no se puede circular con vehículo, de tal modo que la Plaza de la Villa constituye el único espacio llano. En esta plaza se encuentran el Ayuntamiento, la Casa de la Villa, la escuela, el consultorio médico, la farmacia y prácticamente todo el comercio local.
La apertura de la carretera en la primera mitad del siglo XX requirió la excavación de dos túneles, que atraviesan el pueblo por debajo, así como la construcción de un nuevo acceso, apto para vehículos, hasta la plaza. Castielfabib con sus 10.826 Ha. es el municipio más extenso de la Comarca del Rincón de Ademuz, pero se halla escasamente poblado.
De este extenso territorio se dedican a la agricultura apenas unas 860 Ha. de las cuales una pequeña parte corresponde a tierras de regadío, en las que se cultiva hortaliza de diversas variedades y frutales (manzanos principalmente), siendo la mayoría correspondiente a terrenos de secano donde el cultivo predominante es el almendro, habiendo también bastante cereal y algo de viña. El espacio restante está ocupado por terreno forestal (8.858 Ha.) o por superficies no agrícolas como puedan ser prados, eriales, zonas improductivas y zonas fluviales.