Мне тяжело расставаться не с людьми, мне тяжело расставаться с привычками, которые завязаны на этих людях. С совместными микро ритуалами, местами, общими знакомыми.
То ли это про эгоизм, то ли у всех так, просто вслух это называется "тяжело терять".