для функций веб филтеринга нужна база веб сайтов интернета по темам (Adult, Games, News и тд..),
размер базы – от нескольких сотен тысяч сайтов до миллионов.

прежде всего интересует база по Adult, нужен список максимального кол-ва таких сайтов.
будем рады любым предложениям (возможно нет готовых баз в доступе, но есть предложения по ее созданию или вытягиванию с каких-то источников..)

таким образом, на выходе было б здорово иметь к примеру файл adult.txt с кучей адресов доменов внутри.

создание базы ботом - самый крайний случай и самый сложный.. пока ищем нечто готовое

ps:
в курсе про Atomic Web Catalogue, но adult там нет, ибо база вроде бы дмозовская..

мож ну его? просто разрешить только доступ к каким-то определенным?

зы. не знал что это называет «веб филтеринг»:(

Посмотри на сайт www.usergate.ru, там есть в разделе Downloads что-то подобное.

можно обратиться к google/yandex/rambler/mail.ru
вдруг за нную сумму продадут? =))))))))))))))))))))))))))))

Хотите получить бесплатно, а потом продавать? :)
rejik.ru, но придется немного заплатить или пополнить базу.

Зачем нужен список порносайтов, когда давно известно, что установка локального порносервера значительно уменьшает входящий интернет-траффик.

Dans Guardian по содержанию способен страницы банить.