Случаем, "ATZ" в инит-строке не стоит?.. Попробуйте заменить на "AT&F1" в случае мейлера или досовской терминалки или вообще убрать дополнительную инит-строку в случае, если речь идёт о меню настройки модема в Windows. Либо пропишите в нулевой профайл ту скорость залочки COM-порта, с которой работает Ваша коммуникационная программа (эта скорость записывается на момент выдачи команды "AT&W").
Если при звонке на модеме загорается "RI", то модем работает нормально. Остальное -- на совести того, кто инициализировал модем: по команде ATZ модем до ввода любой другой команды работает с COM-портом на той терминальной скорости, которая прошита в его профайле (см. "ATI5"), и при несовпадении текущей терминальной скорости COM-порта с загруженной по "ATZ" возможны именно эти глюки, и именно с выдачей мусора вместо "RING" в COM-порт. Все прочие функции не глючат только потому, что инициируются AT-командами.
Можно ещё попробовать каким-нибудь тестером COM-порта посмотреть, взводится ли соответствующий бит COM-порта при звонке на модем. Но скорее всего, необходим ремонт модема.