для настолько старого клиента эксперимент провести трудно, но нотес прекрасно умеет по ссл работать, сервер домино для этого не нужен. Самые вероятные причины - старый клиент не может работать с длинными ключами, имя, прописанное в ссл сертификате сервера не соответствует имени, по которому идет подключение. Проверьте в адресной книге клиента (names.nsf) на вкладке Advanced-Connections параметры подключения к вашему серверу, возможно там порт ссл выключени или имя неправильное. Если не поможет - попробуйте клиент поновее, текущая версия 8.5.2