Здравствуйте,
 Мне нужно сделать парсер, который мог бы в тексте находить реквизиты; нужен ваш совет. Сложность заключается в том, что текст может быть совсем любой.

Пример №1



Пример №2



Пример №3



Основное требование — как можно большая автоматичность и универсальность, но можно ошибаться. Например, если в город попадет еще и строка «Подробная информация об организации», то это не страшно.

Некоторые данные (телефон, почта) можно легко найти с помощью рег. выражений. Город и адрес можно поискать в КЛАДРе или, опять же, придумать рег. выражение. А вот как понять где название фирмы? И как сгруппировать найденные реквизиты, ведь не всегда (пример №1) они разделены разделителем?
— Ничего не получается придумать.

Хотелось бы услышать ваши соображения по поводу того, как можно подойти к решению задачи.

> [0] Kolan ©   (21.10.08 15:23)

общее решение задачи - ИИ.

Предложения нужны конкретные, если ИИ, то как конкретно. Если условаия слишком общие, то как бы вы их ужесточили. То есть я хочу пононять как бы вы решали такую задачу, конкретно, что бы делали...

> А вот как понять где название фирмы?

так оно там не первой строкой разве?

> ведь не всегда (пример №1) они разделены разделителем?

а там не перевод строки разделитель?

> [2] Kolan ©   (21.10.08 16:25)

путей несколько:
1. заставить/попросить того, кто присылает этот текст следовать какому-либо четкому шаблону.
2. разгребать все самому вручную, либо поручить это кому-либо.

в том виде, в котором информация предоставляется сейчас (как попало) ничего распарсить не получится со 100% результатом качества, все равно потом перепроверять человеку прийдется.

100% гарантии никто не даст

главная сложность - вычленить название компании из всего этого мусора

> Kolan ©   (21.10.08 16:25) [2]

Грид две/три колонки
СheckMark    Значение    Тип (комбобокс)

Что можешь автоматически опознать опознаешь, что нет то сам задаешь в комбобокс.

Но похоже, что ты хочешь украсть чужую информацию, с веб сайтов.

> так оно там не первой строкой разве?

На первой, на первой строке блока, а как выделить блок?


> а там не перевод строки разделитель?

Да, он, только он же раздялет и все остальное...


> 1. заставить/попросить того, кто присылает этот текст следовать
> какому-либо четкому шаблону.

Это совершенно невозможно, исходные данные копируются с сайтов, с любых.


> 2. разгребать все самому вручную, либо поручить это кому-
> либо.

Как разгребать? Что именно предлагается?

Сто процентное качество не требуется, я об этом писал в [0].

> Но похоже, что ты хочешь украсть чужую информацию, с веб
> сайтов.


> Это совершенно невозможно, исходные данные копируются с
> сайтов, с любых.


:)

Парсер - это набор правил. Если ты можешь выявить что-либо в этом тексте, согласно этим правилам, то какие-проблемы их описать?

О 100% качестве.
Тут нельзя говорить 100 или 90 или 2 процента. Либо-либо. Либо парсит, либо не парсит. Ибо, если парсинг предполагает ошибки, то проверяющему человеку придется проверять все абсолютно.

> [7] Kolan ©   (21.10.08 16:53)


> Как разгребать? Что именно предлагается?

разгребать спорные места.
как-то контора, где я работал, делала сайт по отелям tur-hotel .ru (описание отеля, описание пляжа, фотки, отзывы об отеле и т.п.). т.е. была собрана база из примерно 30000 отелей, информация по-возможности структурированна в CSV файл, но тоже были спорные места. так вот разгребать эти спорные места поручили девочке секретарше ) справилась вполне нормально примерно за месяц (+/- неделя), при том, что занималась этим час-два в день. особой срочности не было.

> ...что нет то сам задаешь в комбобокс.

Понял идею. Боюсь будет много «непонятного».


> Но похоже, что ты хочешь украсть...

Украсть хочу не я, я хочу написать парсер :) Кстати, я точно не знаю для чего им будут пользоваться, может и не для воровства. Да и воровством это не назовёшь, данные в отрытом доступе, тайного хищения тут нет.


> Парсер - это набор правил. Если ты можешь выявить что-либо
> в этом тексте, согласно этим правилам, то какие-проблемы
> их описать?

Согласен. Описать проблем нет. Проблема придумать правила.

Eraser, я понял, ты предлагаешь примерно то же, что и АП в [6].


> главная сложность - вычленить название компании.

Мне кажется, что если бы их вычленить, то можно былобы легко поразбивать на блоки, и дальше было бы легче. Как бы это сделать...

Это не важно, что ты только объявление дал :-)
Сомневаюсь, что держатели сайтов давали добро на собирание базы таким способом. На подобное должно быть письменное разрешение, кроме того у сайта выгоднее купить уже структированую информацию, чем ее воровать.

Анатолий, эта тема, я думаю, выходит за пределы данного топика.

> Kolan  (21.10.2008 19:06:13)  [13]

Я еще думаю закрыть или нет.

Задача решения не имеет, все что можно сделать так это удобное средство для указания аттрибутов и разделения из на строки
Вообще то ничего писать не надо, может только предварительный парсинг, а инструмент обычный Эксель, потом с него в базу.

Я понимаю, что в таком виде задача не имеет нормального решения, поэтому я и спрашиваю что бы вы (отвечающие) делали, как подходили бы к задаче. Вариант с удобным указанием аттрибутов — один из ответов. Может быть будут другие.

> Kolan ©   (21.10.08 19:21) [15]


Этот файл с "атрибутами-реквизитами" к тебе с какой Луны падает ?

Я вот думал, может сделать парсер многопроходным? На первом проходе можно попробовать найти то, что найти легко — телефоны, емэйлы, адреса сайтов, города (по КЛАДР), и, возможно, улицы. А на втором проходе используя даннные найденые на первом выделять блоки реквизитов по, например, расстоянию в строках или символах между телефонами или еще чем-то.

Есть идеи?

Пользователь-Луна заходит на сайт (пример http://allorostov.ru), копирует данные, вставляет их в мемо.

> Kolan  (21.10.2008 19:21:15)  [15]

Мне многократно приходилось решать подобные задачи. Я обычно загонял в базу и там ручками редактировал, но делал предварительно два комплекта полей,  исходные данные и конечная структура. Конечное частично заполнялось автоматически, там где это возможно, где нет, то оставалось пустым. Далее оператор проходил по записям и при необходимости корректировал и/или копировал информацию из полей. Иногда делалось многократная автоматическая корректировка, когда после каждого прохода дописывалась программа или корректирующий скрипт. Потому что разделение делалось довольно глубое, например адреса и фамилии разбивались на составляющие, в итоге ручной работы оставалось немного. Адреса к тому же приводились к единому виду, что бы не было такого, как Московская область/Московская обл. Часто это делалось просто в Экселе, с помощью его формул и отсутствие нужды в программисте. После некоторой дроссировке эту работу делала свободная девушка.