База проблем и решений

Приветствую коллеги!
Давно не заглядывал сюда. Рад что ветка форума не умерла.
Поделюсь своми наработками.
Как писали выше для первого этапа взяли систему электронного документооборота на базе 1С-Архива. Туда в течении года накачивали компанейскую информацию. Там есь и учебные проекты и работы, учебники и книги по специальностям, статьи и прочее. Информации на данный момент 4337 документов весом 7,5 гигабайт.
Сейчас разрабатываем интерфейс через компанейский сайт по поиску в этой базе.
Вот такие дела

Это значит, что один док-т в среднем весит 1,73 мегабайта.
То есть вы используете эту систему именно как хранилище документов.
Кстати, это очень небольшой объем для "базы знаний".
А что, какого-то поиска в 1С нет, или он вас не устраивает?
Зачем интерфейс специальный, да еще через сайт?
То есть, зачем через сайт - как раз понимаю: чтобы не давать доступ к 1С всем сразу (иначе может загнуться).

_________________
С уважением,
Александр Фабричников

Ну документы разные весом от 500кб статьи и до 500 мб это электронные учебники.
Да верно 1С-Архив как хранилище документов. Ну объем набран за год думаю к концу года он выростит до 15 гб. Поиск делаем через сайт потому что не всем пользователям есть доступ. Там авторизация через логин пароль. Да и через сайт удобнее. Скажу по чесному сначала рассматривали поиск через систему 1С-архива, но там интерфейс громоздкий. В итоге в идеале на сайте стока для ключевых слов поиска и кнопка искать. Просто

За этой простотой стоят сложные алгоритмы.
Если это строка с ключевыми словами, то подразумевается полнотекстовый поиск. То есть, поиск каждого из этих слов (или сочетания) во всем тексте документа.
Если документ у вас - присоединенный файл (вложение), то будет ли поиск во вложении? или только в аннотации?
Дело в том, что полнотекстовый поиск в большом объеме неструктурированных данных - очень сложное дело.
Например, известно, что специальный поисковый сервер Майкрософт зависает, если число док-тов в системе превышает 50 тысяч.

_________________
С уважением,
Александр Фабричников

Александр поясните что значит структурированные документы?

Любой документ имеет реквизиты. Например: название, дата публикации, автор(ы), ISBN, издательство, страна, город, и т.д.
Деловые документы имеют еще ряд дополнительных реквизитов.
Среди реквизитов есть обязательные и не обязательные.
Как правило, для каждого реквизита в электронной карточке документа предусмотрено отдельное поле. В полях может храниться структурированная и не структурированная информация.
Например, структурированная: дата, страна, город, ISBN, тематическая категория (если она у вас определена жестким справочником), и т.д.
Не структурированная: авторы, название, аннотация, собственно текст док-та.
Поиск по полям со структурированной информацией - это дело быстрое и простое. А вот с неструктурированной - очень сложное и долгое.

_________________
С уважением,
Александр Фабричников

Постепенно продолжаю работу над развитием и реализацией своей технологии.

В апреле выступил на международной научно-технической конференции «Информационные системы и технологии ИСТ-2009», Н.Новгород с двумя докладами :

- «Диалогово – ассоциативный поиск в интеллектуальной системе с прямой интеграцией знаний» [...] ;
- «Интеллектуальные системы и «эффект гребня».
Приняли неплохо. В докладах раскрывались некоторые особенности новой технологии.

То: sirius-2

Уважаемый Геннадий Борисович!
И на этом форуме встретились!
Я Вам уже (на другом форуме) говорила, что Вы занимаетесь интересным и нужным делом...
Может, Вас заинтересует информация о международной интернет-конференции "СППР-2009", которую проводит ИПММС НАН Украины:
[...]
Также скоро там запустят новый проект - постоянно действующий интернет-семинар по системологии. Возможно, Вам это будет интересно (будут вопросы - жду через систему личных сообщений).

_________________
Cogito ergo sum.
С уважением - Ольга Кряжич

Уважаемая Ольга !

Спасибо за благожелательный отзыв о моей работе.

Спасибо за приглашение поучаствовать в интернет-конференции.
Это безусловно интересное и полезное мероприятие.

Но только это несколько не мой стиль работы (хотя я вполне активно веду обычные дискуссии в Интернете), тем более по данному направлению. Время разъяснения моей технологии по всем деталям еще не пришло, а там вполне грамотные и подготовленные ученые и они меня быстро попросят разъяснить те моменты, о которых бы я хотел пока умолчать. А мне не хотелось бы зря обижать уважаемых людей. И как показывает практика (что и Вы наблюдали) далеко не у всех из моих оппонентов хватает выдержки, чтобы сдерживать свои эмоции. А мне лишние конфликты совсем не к чему. В тоже время на обычных научно-технических конференциях, где у меня опыт выступлений в несколько десятилетий, я спокойно веду, при необходимости, публичные дискуссии и, как правило, удается контролировать ситуацию. В тоже время я все равно для докторской диссертации должен опубликовать основные результаты моей работы. Что-то уже в печати, но основное еще предстоит в ближайшие годы.

Кстати, надо отметить, что из разных стран, наиболее благожелательно к моим разным работам, судя по Интернету, относятся именно в Украине. Причем это стабильно проявляется все 7 лет моего участия в интернете. Иногда это проявляется относительно, а иногда даже в абсолютных цифрах, даже по отношению к российским специалистам.

С уважением Геннадий Борисович

Уважаемый Геннадий Борисович!

Вы абсолютно правы во всем изложенном.
К сожалению, часто Интернет-дискуссии некоторыми пользователями расцениваются как возможность высказаться не опираясь на культуру и этику. Некоторым кажется, что Интернет - сфера вседозволенности и сплошной анонимности. Но это ведь далеко не так...
Мне очень жаль, что Вы прекратили дискуссию в теме на том, другом форуме. Я с интересом читала Вашу ветку.
Рада, что ссылки по Вашей работе можно встретить на AUP.Ru!

_________________
Cogito ergo sum.
С уважением - Ольга Кряжич