Скажи, а ты на работе/в учёбе/в семье/с соседями обращаешься ко всем "мужчина" и "женщина" или по имени? Вот считай, что это - часть имени.
Не встречал никого, кто начал бы тупое нытьё, если ты имя перепутал. В худшем случае поправят и попросят запомнить, а многие даже не поправляют и просто мимо ушей пропускают (я так почти год препода не по тому отчеству называл, и только перед экзаменом узнал, что он Геннадьевич, а не Григорьевич, когда в списке экзаменаторов увидел полное имя).