お相手さんが気にしてないなら気にせず精進して行けばいいだけの話