Может ли кто нибудь кроме меня претендовать на квартиру?

Может ли кто нибудь кроме меня претендовать на квартиру? жили мы с матерью в отдельной квартире до тех пор пока не сошлась она с мужчиной, квартиру продали, деньги они растратили вместе частично направив их на ремонт нового жилья, прописались в его квартире, отжили 12 лет, после мать умерла я переехал к бабушке в 300-400 метрах от места прописки, жил у неё около трёх лет, отчим отжил в той квартире менее года после трагедии потом сошёлся с другой и уехал в соседний городок к новой сожительнице. за эти годы он посещал квартиру 2-3 раза в год судя по рассказам соседей. квартира не приватизирована. недавно в связи с финансовой стабильностью я решил перебраться туда, сломал его замок, поставил свой. думаю затеять ремонт но боюсь непредвиденных обстоятельств и пустых вложений. связаться с ним возможности нет поэтому по его приезду моё присутствие там будет для него сюрпризом. прописаны в квартире только мы с ним, была ещё покойная мать. в случае суда соседи на моей стороне. на сколько я знаю выписать он меня не может пока не приватизировано, а приватизировать без моего согласия тоже невозможно, на прописку кого либо тоже нужно у меня спросить. поправьте если что не так сказал. и подскажите пожалуйста как лучше поступить и чего стоит опасаться? заранее благодарен.