На одном IP-адресе может быть множество портов, собственно порты для того и ввели, чтобы отличать пакеты адресованные разным серверам (слушателям). Предполагается, что клиент, знает, по какому адресу какой порт открыт. Шпионы обычно прибегают к сканированию портов - пробегая наиболее популярные и ожидая отклика.