¿Si mi pareja no se ha divorciado, su ex esposa e hijos pueden quitarme la casa?

Llevo con mi pareja 7 años, renuncié a mi trabajo y él asume los gastos del hogar. Él es casado, no se ha divorciado, vive la mayoría de tiempo conmigo, pero sin descuidar a la madre de sus hijos aunque no tienen vida marital. Él me compró una casa y la escritura está a mi nombre, mi pregunta y temor es ¿si él llega a fallecer la señora o los hijos de él, que son adultos, me pueden quitar la casa? Ese es mi temor, por favor necesito aclarar esta duda.