Подскажите как создать кодек для операционной системы, что бы любой проигрователь использовавший DirectShow смог проигровать файл используя кодек или фильтр созданный своими руками.

http://directshow.wonderu.com/
для начала. Если надо будет подробнее - документация к DX SDK.