Desistimiento contrato de compraventa sobre plano

Inicie un negocio de un proyecto sobre plano, el cual fue dividido con el 30% de cuota inicial y el otro 70% ya el crédito hipotecario comencé a pagar por cuotas el 30% de inicial el cual lo separe con 1 millón de pesos y pague la primera cuota de 807.000 por motivos psicológicos tengo de desistir del proyecto y me dice la constructora que le cobra la penalidad el cual no me reconocen nada de lo aportado, teniendo en cuenta que les digo que aún no he firmado contrato de compraventa y me dicen que eso no importa que la cláusula penal es de la constructora. Quisiera saber que puedo hacer para no perder todo el dinero.