Problema con vivienda de interés social en Colombia

Adquirí un contrato de vivienda de interés social con subsidio del gobierno y crédito en el banco, en la constructora Bolivar, pero por problemas de que la empresa donde trabajaba cerró definitivamente perdí el crédito en el banco y el subsidio, ahora la constructora me quiere penalizar según el contrato a menos que pague con mis recursos propios la casa, la casa aún no ha sido entregada y no tengo todo el dinero de multa que impone la constructora... Quiero desistir del contrato con la constructora, se puede hacer algo al respecto?