Знатоки!
Написал программу сканирования сети.
Для сокращения времени сканирования разбил проверку адресов IP на потоки, если результаты поиска по каждому потоку выводить в свой файл проблем никаких. Если результаты поиска записывать во временный массив простая синхронизации потоков работает только при небольшом количестве потоков. Критические секции немного улучшают ситуацию, но поиск в 256 потоков находит число IP-адресов гораздо больше чем с 1792 потока, переход на Mutex проблемы не решает и оптимальным числом потоков остаётся ~512. Mutex используется только при завершении работы потока для записи результатов поиска в общий массив, да и то, для каждого потока организован свой раздел в массиве, в который нет доступа другим потокам. Процессор двух ядерный.
Всё процессорное время, во время сканирования, съедают Svchost и Acs.
Почему происходят такое различие результатов поиска, если число потоков отличается в три раза, если верить теории этого быть не должно.

С благодарностью Вл.

И куда столько потоков ?
Очуметь же можно - аж под две тысячи)
Хотя для решения задачи с неменьшей эффективностью вполне хватит и дюжины)

Основное время тратится на ожидание ответа, если сеть класса В и занято много адресов, время сканирования десятки минут, если свободных адресов большая часть это Часы, даде при 512 потоках.

> время тратится на ожидание ответа


Ну так ведь поток, получивший ответ, можно тут же напрячь пинговать следующий адрес..

А пинг-то какими средствами ? raw sockets или wininet-интерфейс ?

Так ведь я так и делаю, каждый поток пингует свой диапазон адресов.

> bvv  (17.09.2009 16:44:04)  [4]

Не очень верно, пусть поток сканирует только один адрес, тогда быстрее будет. 256 потоков достаточно, для блока С, а к нему можно привести и В и С.
По сути получается почти равное время, что для одного потока.

Для С сети проблем вообще никаких нет, если В сетку сканировать как последовательный ряд С сетей, судя по всему Вы правы, но тогда каждый раз нужно создавать и гасить новые потоки, а это время. Гораздо проще, весь диапазон разбить на равные отрезки, и на каждый отрезок создать свай поток, это ничему не противоречит, поскольку в каждом потоке не проверяется больше одной станции, и мы не выходим за предельное число потеков в одном процессе, кроме того, если каждый поток записывает результаты поиска в свой файл, тогда здесь даже синхронизация потоков не нужна, всё на Ура проходит.

> каждый поток пингует свой диапазон адресов


А пинговать он должен один адрес, который ему выдаст диспетчер.
Т.е. поток получил адрес, выполнил пинг, отчитался диспетчеру о результатах пинга и ждет получения след.адреса.

Естественно один, цикл выбирает по одному адресу, и пока не получен ответ на адрес, следующий пинг не начнётся, тоже и с Файлами, но там я для записи результата открывал файл,  записывал и закрывал. с массивом этого делать не нужно а это выигрыш по времени.

На вопрос в [3] ответишь ?

Сергей, я не не знаю что значит [3] т.к. на форум пришёл впервые, да если честно то и потоками занимаюсь недавно, прочитал и решил модернизировать свою программу, и тут же фэйсом об тэйбол.

При чем здесь потоки ?
Я о пинге, а не о потоках ..

Сергей, извините, вчере пришлось срочно убегать.
Поиск станци в сети выполняется функцией IPAddrToName
В старой программе для поиска невидимых станций исполь зовался ещё и сокет, но это к делу не относится.

> Поиск станци в сети выполняется функцией IPAddrToName


Что за ерунда ?
Даже по названию ф-ции следует, что она предназначена совсем для иной задачи.
И откуда она у тебя взялась ?
Сдул неглядя из
http://www.google.ru/search?q=IPAddrToName&ie=utf-8&oe=utf-8&aq=t&rls=org.mozilla:ru:official&client=firefox
?)


> для поиска невидимых станций исполь зовался ещё и сокет


Каких таких "невидимых" ?
И куда делся сокет в "новой программе" ?)


> это к делу не относится


Это к делу относится самым прямым образом.

Сдул конечно, любая вещь гдде нибудь сдувается дорабатывается и снова сдувается.
Перебирая в цикле адреса определяю наличие станций если есть имя значит есть станция.
Любая проверка наличия станции в сети, так или иначе связана с установкой связи с ней, (если конечно не берётся готовая таблица станций) связь осуществляется соединением по порту, на некоторых станциях может быть запрещён отклик на запрос IPAddrToName, но если станция в сети, значит у неё должен быть открыт как минимум один порт. С помощью сокета можно это зделать, и делалось, но сейчас главной задачей было разобраться с работой потоков, и поиск другиз станций меня пока не интересует. Но в принципе я могу решить задачу сканирования станции обойдясь без всякой синхронизации потоков, просто записывая результаты проверки во временные файлы а после тойже программой считывать сних информацию и обрабатывать её. Это даже решит другую проблему передачи информации из одного процесса в другой без всяких симафоров и Мьютексов, но хотелось разобраться с синхронизацией. Вопрос чисто теоретический, греть процессор никому ненужными синусами для рассмотрения этой проблемы - себя не уважать, вот и занимаюсь извращенияви в сети, а заодно и частично восполню пробел в знаниях.

> если есть имя значит есть станция


Вот уж глупости.
Наличие зарегистрированного в обратной зоне DNS имени хоста ниак не связано с активностью и/или доступностью этого хоста.


> связь осуществляется соединением по порту


Хост не обязан отвечать на запросы на соединение по интересующему тебя порту, равно как и на ping-пакеты, и это ничуть не мешает ему присутствовать в сети.


> на некоторых станциях может быть запрещён отклик на запрос
> IPAddrToName


Эта ф-ция не обращается к "станциям", у нее иное назначение, см.выше (DNS)


> если станция в сети, значит у неё должен быть открыт как
> минимум один порт


С какого это перепугу "должен быть" ?
Это зависит от того как станция сконфигурирована, так что она вовсе не обязана быть чем-то должна твоему сканеру.

Ты пойми главное - не существует и не может существовать ни одного алгоритма, позволяющего со 100%-ной достоверностью определить факт присутствия узла в сети.

Обнаружить в сети хост можно только если этого захочет администратор хоста.
Ну или по недосмотру или раздолбайству этого администратора)

> Сдул конечно


Ну так надо было вникнуть в то что сдул, а не слепо верить в волшебные возможности сдутого)

> Ты пойми главное - не существует и не может существовать
> ни одного алгоритма, позволяющего со 100%-ной достоверностью
> определить факт присутствия узла в сети.

Так я с этим и не спорю, 100% гарантия может быть только по свершившемуся факту, (Машина врералась в дерево) это может не говорить о причинах свершившегося факта, но он либо есть либо нет.
Я не ставлю перед собой задачу 100% поиска станций, и не собираюсь заниматься их взломом, (Дорожу своим рабочим местом). Я говорю, это чисто теоретический вопрос с синхронизацией большого  числа потоков, поэтому данная функция IPAddrToName меня вполне устраивает, пусть прячутся и правильно делают, а то иногда встречаются станции с расшаренным С диском и даже Program Files нараспашку...
Иногда ставлю их в известность об этом, но чаще просто оставляю как есть, пусть сами разбираются, причём не только у нас но и за бугром такое бывает. Но это уже совсем другая тема...

> функция IPAddrToName меня вполне устраивает


Приведи сюда ее код ..


> теоретический вопрос с синхронизацией большого  числа потоков


Теория при этом абсолютна та же самая, что и теория синхронизации малого числа потоков.
И если у тебя эта синхронизация не работает или работает не так как положено, значит у тебя ошибка в программе.

function IPAddrToName(IPAddr: string): string;
var
 S: String;
 SockAddrIn: TSockAddrIn;
 HostEnt: PHostEnt;
 WSAData: TWSAData;

 FSocket:TSocket; //Сокет.
 addr:TSockAddr; //Структура адреса.
begin
 S := '';
 WSAStartup($101, WSAData);
 SockAddrIn.sin_addr.s_addr := inet_addr(PChar(IPAddr));
 HostEnt := gethostbyaddr(@SockAddrIn.sin_addr.S_addr, 4, AF_INET);
 if HostEnt <> nil
  then
   begin
    S := StrPas(HostEnt^.h_name);
   end
 else
   begin
    if All
     then
      begin
       WSACleanup;
       addr.sin_family:=AF_INET; //Мутим адресацию, в нашем случае - асинхронная.
       addr.sin_addr.S_addr:=inet_addr(pchar(IPAddr));//Заполняем поле адреса.
       if WSAStartup($101,WSAData)<>0
        then
         begin
          //Если произошла ошибка при старте WinSock выводим сообщение и выходим.
          ShowMessage('ОШИБКА: при старте WinSock. ' + IntToStr(GetLastError));
          exit;
         end;

         FSocket:=socket(AF_INET,SOCK_STREAM,0);//Создаем гнездо.
         if FSocket=INVALID_SOCKET
         then
          begin
           //Если если ошибка при создании гнезда то...
           ShowMessage('ОШИБКА: При создании сокета. ' + IntToStr(GetLastError));
           exit;
          end;
          addr.sin_port:=htons(PortInvisible);//Присваеваем значению порта текущее значение счетчика.
          index := connect(FSocket,addr,sizeof(addr));
          if index = 0
          then
           begin
            //Ури, открытый порт.
            S := 'Порт = ' + IntToStr(PortInvisible);
           end;
          CloseSocket(FSocket);
      end; //if Form1.cbInVisible.Checked
    end;   //else
   Result := S;
 WSACleanup;
end;

procedure TThreadScanNet.Execute;
var
 i,k: Cardinal;
 s: string;
 SetM: WORD;
 ii: integer;
Label R;
begin
try
FreeOnTerminate := TRUE;
SetLength(Loc, 0);
with Form1 do
begin
 for k := iBegAddr to iEndAddr do
 begin
   s := IntToStr((k Shr 24) AND $FF) + '.' +
        IntToStr((k Shr 16) AND $FF) + '.' +
        IntToStr((k Shr 8) AND $FF) + '.' +
        IntToStr(k AND $FF);

   s1 := IPAddrToName(s);
   if s1 <> ''
     then
      begin
       j := k;
       NumAdd := NumAdd + 1;
       SetLength(Loc, NumAdd);
       Loc[NumAdd-1].IP := j;
       Loc[NumAdd-1].Name := s1;

{
       SetM := WaitForSingleObject( Scan_Send.Form1.Mutex, INFINITE );
        if SetM = WAIT_OBJECT_0
          then Scan_Send.Form1.NumPc := Scan_Send.Form1.NumPc + 1;
       ReleaseMutex( Scan_Send.Form1.Mutex );
}

{
       EnterCriticalSection(Form1.StringSection); //Ждать освобождения Крит
       Scan_Send.ExZapisNetAddres[Num].NumAdd := Scan_Send.ExZapisNetAddres[Num].NumAdd + 1;
//        Synchronize(ChDate);
       LeaveCriticalSection(Form1.StringSection);
}

      end;
 end;  //for j := iBegAddr to iEndAddr do
end; //with Form1 do
finally
end;

// EnterCriticalSection(Form1.StringSection); //Ждать освобождения Крит

R:
SetM := WaitForSingleObject( Scan_Send.Form1.Mutex, INFINITE );
if SetM = WAIT_OBJECT_0
// if WaitForSingleObject( Scan_Send.Form1.Mutex, 2000 ) = WAIT_OBJECT_0
 then
  begin
   SetLength(Scan_Send.ExZapisNetAddres[Num].Lisp,NumAdd) ;
   Scan_Send.ExZapisNetAddres[Num].NumAdd := NumAdd;
   for ii := 0 to NumAdd - 1 do
    begin
     Scan_Send.ExZapisNetAddres[Num].Lisp[ii].AddNet := Loc[ii].IP;
     Scan_Send.ExZapisNetAddres[Num].Lisp[ii].AddName := Loc[ii].Name;
    end;
    Scan_Send.ExZapisNetAddres[Num].Nit := FALSE;
    Scan_send.NumEndThread := Scan_send.NumEndThread + 1;

    ReleaseMutex( Scan_Send.Form1.Mutex );

  end
 else
  begin
//    ReleaseMutex( Scan_Send.Form1.Mutex );
   Sleep(0);
   goto R;
  end;

//   ReleaseMutex( Scan_Send.Form1.Mutex );

{
 ReleaseMutex( Scan_Send.Form1.Mutex );

 sleep(500);
}
//  Scan_Send.ExZapisNetAddres[Num].ThreadScanNet := TRUE;
//  LeaveCriticalSection(Form1.StringSection); //Освободить Крит
end;

Какой ужас ..

Мало того, что IPAddrToName занимается не тем чем ей положено согласно названию, да еще и бред какой-то:


> Мутим адресацию, в нашем случае - асинхронная

Я понимаю, но в данном случае эта часть кода не используется, хотя когда эта программа работала без динамического массива, а результат выводился в файл она нисколько не мешала, да и сейчас при работе отключается через  if All
Мешать она никак не может.

> в данном случае эта часть кода не используется


Какая такая "часть кода" не используется ?
Зачем ты приводишь код, который не используется ?
Меня он абсолютно не интересует.
Приводи только актуальный код, без отсебячины и чьих-то бредовых комментарием про "муть".

function IPAddrToName(IPAddr: string): string;
var
 S: String;
 SockAddrIn: TSockAddrIn;
 HostEnt: PHostEnt;
 WSAData: TWSAData;

 FSocket:TSocket; //Сокет.
 addr:TSockAddr; //Структура адреса.
begin
 S := '';
 WSAStartup($101, WSAData);
 SockAddrIn.sin_addr.s_addr := inet_addr(PChar(IPAddr));
 HostEnt := gethostbyaddr(@SockAddrIn.sin_addr.S_addr, 4, AF_INET);
 if HostEnt <> nil
  then
   begin
    S := StrPas(HostEnt^.h_name);
   End;
   Result := S;
 WSACleanup;
end;

так.
И что конкретно ты ожидаешь от этой функции ?
Опиши как ты себе понимаешь ее работу ..

struct hostent
{
char FAR * h_name;   // имя хоста
char FAR * FAR * h_aliases;  // дополнительные названия
short h_addrtype;   // тип адреса
short h_length;   // длинна каждого адреса в байтах
char FAR * FAR * h_addr_list; // список адресов
};

Мне нужно имя хоста, если есть имя, значит есть и хост.
Я понимаю, что структуру можно и не получить даже если хост физически работает.

> Мне нужно имя хоста


У хоста может не быть имени, от этого он хостом быть не перестанет.


> если есть имя, значит есть и хост


Нет.
Если есть имя, значит есть адрес хоста, а не хост.

Во-первых, ф-ции gethostbyaddr() нет никакого дела до того, присутствует ли хост в сети в момент ее вызова. Она к интересующему хосту не обращается вообще.

Во-вторых, ф-ция gethostbyaddr() позиционируется в Майкрософт как устаревшая, вместо нее настоятельно рекомендуется использовать протоколонезависимую ф-цию getnameinfo(), хотя суть использования новой или старой функции неизменна.

Так что до синхронизации тебе еще как до Китая - ты в принципе не понимаешь что творишь и как это в действительности работает.

Спасибо, буду разбираться.
С уважением, В

Простая ассоциация для наведения порядка в голове:
Наличие у тебя или кого-либо в адресной книге (читай - база данных DNS) в мобильном телефоне записи
"Имя: Вася Пупкин (читай - HostName), Телефон: 123456789 (читай - HostAddress)"
не означает:

- что Вася Пупкин жив;
- что у него есть телефон;
- что в телефоне установлена симка именно на номер 123456789;
- что владелец телефона и симки в дан.момент именно Вася Пупкин;
- что телефон этот включен;
- что на этот телефон можно позвонить и дозвониться;
- что ответит именно Вася Пупкин и никто иной.

И еще: за массированное сканирование хостов и сервисов можно и по шее получить от провайдера)

Хорошо, я понял что запрос идёт на DNS.
Пусть в этом вотросе я полный ноль.
Согласен, это действительно не далеко от истины.

Но, почему при разном сисле потоков получаю разное число хостов, хотя запускаются одновременнодве программы, и таблица хостов на DNS не должна так быстро меняться?
Кроме того, повторное сканирование с малым числом потоков 512 точно повторяет предыдущий результат?
Я понимаю если бы результат сканирования 512 и 1792 потока отличался на единицы, но речь идёт о разах. 3-4 раза
Даже если опрос по этой функции даёт полный бред, то почему в одном случае этот бред повторяется с точностью до хоста, а во втором случае нет.
Почему при сканировании локалки, в которой я живу, она точно называет имена и адреса рабочих станций и серверов?

Я не специалист по сетям, и занимаюсь этим, чтобы не отупеть полностью, и не потерять навыки, поскольку решение систем трансцедентных и дифуравнений, при проектировании физических установок в нашей стране уже давно никого не интересут.

> Почему при сканировании


Да нет у тебя никакого сканирования, что ты заладил про сканирование ?)


> локалки, в которой я живу, она точно называет имена и адреса
> рабочих станций и серверов


Потому что эта инф-ция имеется и доступна в тех DNS-базах, к которым ты осуществляешь обращение при своем т.н. "сканировании".

А рассуждать о какой-то синхронизации сейчас попросту бессмысленно - нет достоверной инф-ции, которую требуется синхронно заносить в аккумулирующий ресурс.

Рекомендую в целях отладки мультипоточного синхронного взаимодействия реализовать эмулятор, который бы не лез в сеть, а возвращал бы данные о хостах из заранее подготовленной локальной таблицы.

> не специалист по сетям


Придется в той или иной минимум необходимой мере им стать, если ты действительно желаешь осознать происходящее.
И это, скажем, не самое худшее лекарство от отупения)

>
> Придется в той или иной минимум необходимой мере им стать,
>  если ты действительно желаешь осознать происходящее.
> И это, скажем, не самое худшее лекарство от отупения)
> <Цитата>


Соглосен на все сто.

Удачи Вам!
В

Точнее, сканирование-то есть, но сканируешь ты вовсе не то, что заявил в топикстарте: ты просто тупо шаришь по записям доступных тебе DNS-рерурсов.

Ключевой момент, могущий пролить свет на тайну: сетевые DNS-сервисы работают под управлением транспортного протокола UDP, который не гарантирует доставку инф.сообщений от источника к приемнику.
И чем "дальше" от твоего хоста находится хост, предоставляющий DNS-сервис, тем меньше вероятность достоверности получаемых при DNS-запросах данных.

Да, я читал об UDP и других протоколах, назначение их тоже для меня более или менее ясно, Олифера прочитал и общая картина сети понятна, но теория без практики пустое место, пока своими руками что-то не сделаешь, нечего и говорить о том, что знаешь. Телефонный справочник может быть и интересное чтиво, особенно на ночь, но если нет телефона или некуда звонить...
То же и с сетями, надо пробовать и порверять.
Но потоки всё-таки, можно рассматривать и без глубокого понимания работы сети, мне почему-то так кажется...
Но может быть я не прав.

> потоки всё-таки, можно рассматривать и без глубокого понимания
> работы сети, мне почему-то так кажется


Правильно кажется.
Более того, на этом этапе их следовало бы рассматривать в полном отрыве от сетевой логики.
Т.е. мухи отдельно (потоки, синхронизация и т.д. и т.п.), а котлеты отдельно (сети, протоколы и т.д. и т.п).
И уж только тогда следует сажать мух на котлеты, когда мухи станут большими-злыми-зелеными-осенними, а котлеты будут хорошо прожарены)

О чем я тебе и сказал в [32] (про эмулятор)

Понял.

До свидания.
Разберусь с сетями вернусь.
Конец связи.
В

> bvv  (17.09.2009 17:12:08)  [8]

Поэтому и неверно вешать блок на один поток, пока он ждет ответа от несуществуеющего ИП, то остальные тоже ждут, а могли бы работать, если бы поток занимался только одним ИП. Результат может быть очень существенным, по сути равным обработке одного потока, даже если все ИП не существуют. Ну а класс С взят просто как удобная величина, поскольку обычно пингуют не больше одного класса за раз, на самом деле никакой связи с классами нет, это может произвольный список и количество потоков не обязательно 256, может эффективнее будет 512. Все будет зависить от количества адресов. Но и в этом случае один поток может обслужить 100 адресов, пока другой поток ждет ответа. И не надо потоки постоянно создавать разрушать, достаточно пула потоков.

> Точнее, сканирование-то есть, но сканируешь ты вовсе не
> то, что заявил в топикстарте: ты просто тупо шаришь по записям
> доступных тебе DNS-рерурсов.

Кстати ДНС в состояние выдать все записи зараз, и даже определенного типа, нет никакой нужды сканировать ДНС запись за записью.

> Anatoly Podgoretsky ©   (18.09.09 15:37) [41]


??

Спасибо Анатолий, я обязательно посмотрю литературу.

С благодарностью, В
Удачи Вам.

> Сергей М.  (18.09.2009 15:48:42)  [42]

Насколько я понял ваш разговор, речь идет о получение информации из ДНС адрес за адресом.
У ДНС можно получить всю информацию о домене за раз, как это сделано в NSLOOKUP

> Anatoly Podgoretsky ©   (18.09.09 16:53) [44]


Ты что-то не понял)
Автор обращается не к прямой, а к обратной зоне.

Если не брать во внимание некоторые особенности и считать что бардака нет, что для каждой записи обратной зоные есть хоть одна прямая, то я не вижу разницы.