Как известно, если в настройках системы снята галка "Отображать содержимое окна при его перетаскивании", то при этом самом перетаскивании рисуется только контур окна.

Вопрос - какая функция WinAPI рисует это контур?

Конечно, если такая функция вообще есть. А если ее нет, то другой вопрос - кто и как рисует этот контур?

Прехватывается контекст рабочего стола, после чего маской xor и альтернативным пером рисуется серый прямоугольник. Кем - самой виндом.

http://jdearden.gotdns.org/programming_windows_notebook/how_to_use_win32_api_to_draw_a_dragging_rectangle_on_screen_dc.html - это не совсем то, но похоже немного.
просто последний абзац там тож может быть вариантом решения.

Вопрос для раздела WinAPI, не?

Раньше это была DrawFocusRect вызванная 2-3 раза с небольшим смещением координат (для толщины), сейчас что-то более сложное.