Как определить, что открыт file = popen, а не file = fopen ?

Не могу гарантировать, но вроде - никак. Это же "плоский си". Может, чуть изменить задачу ? Возможно, Вы передаете в функцию дескриптор, и там возможны обе ситуации. Что если передавать не дескриптор, а структуру, в которой первое поле - дескриптор, а во втором - флаг ?

(1) с флагом то и дурак могет )

вторая загвоздка - как по дескриптору получить имя файла, если то файл ?
(дописка - файловой системы proc может и не быть)

(2) "с флагом то и дурак могет )" - часто такой подход - самый правильный ;-)

(3) "вторая загвоздка - как по дескриптору получить имя файла, если то файл ? " - очень просто. Имя файла нужно поместить в третье поле структуры ?

Ну, разве не очевидно, что Вам надо тащить набор параметров, связанных с дескриптором ? В С++ это был бы класс, в С - структура ;-)

Если в функции нужно знать, что за файл, а открываю его где-то еще, значит в дизайне косяк.

Дырявая абстракция.

* открывают

(5) Ещё вопрос, кто открывает, или где.

(5) у Вас в голове косяк
файл может быть разным и открытым не единожды

с прос все тривиально

       sprintf(path, "/proc/self/fd/%d", fileno(file));
       readlink(path, filename, 255);

а вот без прос не знаю как

можно конечно фстат структуру и найти иноды, но уж больно муторно

А вообще fstat() и смотреть поле st_mode.

(10) да, тут Вы правы

остается узнать имя/имена

первая часть решена, спасибо mistеr

if ( file != NULL )
{
   struct stat statbuf;
   fstat ( fileno ( file ), &statbuf );
   if ( S_ISREG(statbuf.st_mode) )
       fclose ( file );
   else
       pclose ( file );
   file = NULL;
}