Управление знаниями

Александр Горшунов
О Конвере...
Не совсем так - за нее не платили бы таких денег.
В России ее приобрести и сопровождать могут позволить себе не более 20-25 фирм.
Начнем с того, что Конверовская система поставляется с набором тезаурусов (словарей), позволяющих вести интеллектуальный поиск.
Причем не только в корпоративной базе данных, но и с Интернетом. Последний воспринимается примерно как сетевой диск.
Развитый тезаурус позволяет находить не только искомые документы с ключевым словом, но и синонимичные, логически связанные понятия, антонимы.
Развитая система запросов позволяет указывать тип искомых документов, отрасль, характер (новости, аналитика, реклама).
Позволяет осуществлять мониторинг по определенным темам в Интернет, изменения информационной активности, появление или исчеззновение информации по нужным тематикам.
Я ее тестил некоторое время- мне очень понравилось.
Суть ее в том, что она находит логически взимосвязанную информацию по искомой тематике.
Sirius-2 же хочет, чтобы система давала еще и рекомендации, как я понял. Сейчас над этим Пентагон работает. Это качественно иной уровень- для реализации проекта используется Компьютерный Центр Агенства Национальной Безопасности США (самый мощный на планете). К слову. Блок процессоров представляет из себя 2-х этажный дом. Охлаждение криогенное. При отключении охлаждающей системы блок расплавится через 10-15 секунд.
Если Конвера - 50 клиентов + сервер стоит около 100 000$ + необходима поддержка, то стоимость владения Пентагоновской софтиной будет просто фантастичной.

_________________
Пусть Путь Ваш освещается Светом Души Вашей!

А.Горшунову

1. Еще раз повторяю, этот путь имеет ограниченную полезность (во всяком случае на нынешнем уровне знаний) и является тупиковым вариантом.
2. «Не совсем так - за нее не платили бы таких денег.»

У нас много чего покупают – это доказательство для неопытных людей.

3. «Суть ее в том, что она находит логически взимосвязанную информацию по искомой тематике.»

Вы о чем говорите о достоверных знаниях или о том, что Вы понимаете под этим ради того чтобы перед кем-то отчитаться? Я вот, например, читаю лекции студентам, так замучался ошибки в учебниках выявлять. Т.е. Вам кажется, что Вы получаете знания и Вы не знаете, что на самом деле теряете.

4. «А теперь объясните людскими словесами чем ваша СУЗ от этого отличается? Как работает?»

Вы должны понимать, что если не уметь понимать что написано, то никакая система сепермощная система Конвера или подход, что я отстаиваю, Вам не поможет.

Прочитайте внимательно еще раз [...]
Об этом мы уже давно говорим в данной теме. Повторим коротко для Вас.
Тот подход, что Вы упомянули и модный сейчас – это берется информация из документов, книг, Интернета и т.п. и в них ищутся знания. В результате всегда на человека вываливаться достаточно большое число знаний, нередко недостаточно достоверных иногда неправильных из-за проблем с семантическим анализом или вообще ничего (из-за того, что система не смогла преодолеть семантические проблемы, хотя эти знания есть). В итоге специалист может получить больше проблем, чем было у него до того, т.е. до этого он что-то знал, а теперь может и запутаться.

Я говорю об ином подходе создания аналитических СУЗ (АСУЗ). Исторически он был даже первым – начал формироваться в конце 80-х годов. Он заключается в том, что вначале документы, книги и иная информация – переводится постепенно на единый модельный язык и заносится в базу знаний (БЗ) с помощью подготовленных специалистов. При этом решаются семантические проблемы, удаляется мусор, устраняются ошибки и резко уменьшается объем знаний по сравнению с 1 подходом (поскольку знания во многих документах, книгах и других источниках информации повторяются).
А потом по запросам стандартным путем (уже отработанным для экспертных систем) пользователь с помощью машины вывода получает знания.
___В АСУЗ трудоемкий процесс создания БЗ, но зато быстрое получение требуемых знаний, взаимосвязанных с другими. Происходит резкое снижение проблем для пользователя, повышение достоверности знаний. Кроме того, постепенно уровень знаний в БЗ достигает такого уровня (через несколько лет после создания), что рекомендации АСУЗ превышают по качеству рекомендации лучших специалистов. Причем этот рост уровня знаний в АСУЗ неограничен и нам даже сложно представить какого уровня достигнет через 30-50 лет.
___В модном пока 1 подходе, который Вы рекомендуете, - более быстрый ввод документов в СУЗ, а потом постоянные проблемы с трактовкой того, что СУЗ выдает.

5. «Это качественно иной уровень- для реализации проекта используется Компьютерный Центр Агенства Национальной Безопасности США (самый мощный на планете). К слову. Блок процессоров представляет из себя 2-х этажный дом. Охлаждение криогенное.»

Это называется ПОДТАСОВКА, Вы приписываете совсем не то, о чем я говорю, всего этого для создания АСУЗ не требуется.

Гы :)
Насчет "Вы о чем говорите о достоверных знаниях или о том, что Вы понимаете " на мой хлопский розум в природе нет достоверных знаний. "Я знаю, что ничего не знаю" (с) если мне склероз не изменяет Сократ
"Вы должны понимать, что если не уметь понимать что написано, то никакая система сепермощная система Конвера или подход, что я отстаиваю, Вам не поможет" Это понятно, но как показывает опыт (сын ошибок трудных (с) Пушкин) часто написанное понять весьма проблематично. Особенно это касается научных шедевров написанных столпами науки в припадке словоблудия.
То что написано на сайте сириуса попробовал прочитать, но мой скромный разум позволяет мне оперировать информацией не более двух абзацев и желательно основанной на фактах, а не предпосылках. С вашей оценкой поисковиков (пусть это будет современная система поиска знаний) полностью согласен. Как говорят у нас во Львове "Цо занадто, то не здраво".
А вот насчет успешности реализации концепции АСУЗ имеются сомнения. Ибо просто знания сами по себе весьма слизкий продукт и как правило успешные знания базируются на основе детей ошибок (см. выше). Простой пример, одна и та же фраза при разном ее исполнении может нести несколько смысловых нагрузок, как комп будет решать эту проблемму?

_________________
С уважением,
Александр Горшунов

А.Горшунову

«Простой пример, одна и та же фраза при разном ее исполнении может нести несколько смысловых нагрузок, как комп будет решать эту проблемму?»

Мне сложно с Вами обсуждать эту тему, даже Ваш вопрос это показывает. Поскольку именно Ваш подход, который Вы защищаете именно это и «пытается делать», а у меня как раз этого и нет, у меня совсем иной подход и я пытался Вам это объяснить.

У Вас явно гуманитарный склад ума, судя по попыткам опереться на литературные ссылки и эмоции, а в науке и технике нужны конкретные знания и логика, тем более в такой сложной теме.

Могу дать два совета :

- не насилуйте себя, не пытайтесь разобраться в том, в чем не можете;
- не позорьте фирму Конвера своим словоблудием, пытаясь неумело продвинуть ее продукцию и подходы (или может быть наоборот у Конверы такой подход, - маленький скандальчик скомпрометирует конкурента и о себе напомнит?).

Значит так.
Про я Convera писал.
Я с ней работал.
Безо всякой схоластики продукт реально работает и решает поставленные задачи.
Достаточно того, что их клиенты РАО "ЕЭС" и "Газпром". Вряд ли они болваны и деньги на "фу" пускают.
_______________
Постарайтесь выражаться более корректно, менее уничижительно и категорично - истиной в последней инстанции Вы не обладаете.
Сейчас Вы нарушаете Правила Форума.
В ближайшее время представитель Convera продолжит тему.
О продукте пишу не потому, что там работет уважаемый мной человек, а потому, что продукт качественный, реально существует и работает.
А что реально Вы можете предложить?

_________________
Пусть Путь Ваш освещается Светом Души Вашей!

Сzyan


1. «Безо всякой схоластики продукт реально работает и решает поставленные задачи.
Достаточно того, что их клиенты РАО "ЕЭС" и "Газпром". Вряд ли они болваны и деньги на "фу" пускают.»

Но и я ведь с этим даже не спорил - «этот путь имеет ограниченную полезность». А что покупать и что реализовывать это право каждого.

Поясним почему «ограниченная».

Есть три проблемы на предприятиях (организациях) – информационное обслуживание (старое традиционное около 100 лет), системы управления знаниями СУЗ (новое около 15 лет), системы принятия решений (около 100 лет).

Системы, подобные Конвере, нацелены фактически на информационное обслуживание, и в этом ничего плохого нет, даже очень хорошо, но не больше. Я, например, когда работал в 80-е годы в головном НИИ в автомобильной промышленности СССР, пользовался (как и другие научные сотрудники, в т.ч. и во многих других НИИ в СССР) разными системами информационного обслуживания. Так вот были и системы, подобные возникшей в обсуждении. Конечно, они были проще, но распечатки их информационных подборок, я регулярно выкидывал в мусор, настолько это было слабо тогда (но и проблемы этого подхода мне были ясны уже тогда). А вот другие каналы информационного обслуживания я использовал регулярно и с удовольствием.
Сегодня все эти каналы информационного обслуживания объединяются в одной системе, улучшен сервис, диалог и т.д. И поэтому внутренние недостатки (а они есть в любом подходе, в т.ч. и в моем) на общем фоне не очень заметны.

Ну а к СУЗ эти системы имеют лишь первоначальное отношение и СУЗ находятся во всем мире в начальном этапе развития. А системы, подобные Конвере, являются обязательным дополняющим элементом для АСУЗ которые будут создаваться. Пока они тоже не будут объединены в общую систему.

2. «истиной в последней инстанции Вы не обладаете.»

Каждый нормальный ученый и изобретатель считает, что обладает истиной в последней инстанции. Это специфика данной деятельности . Другое дело, что нередко оказывается - конкретный результат ошибочен или уже известен. Но у меня процент ошибок за 30 лет научно-технической деятельности крайне низок, можете почитать мои публикации. А вот повторно находить известные результаты приходилось и не раз.

С другой стороны, специалистам хорошо известно, что нет ВЕЧНЫХ ИСТИН ВООБЩЕ.

Все достигаемое человеком временно и постепенно или улучшается или заменяется или отвергается. Это касается и продукции Конверы и моего подхода.

Другое дело, что есть традиционное, а есть новое, которое придет на замену. И между ними всегда будет борьба. Мудрые производители традиционного товара всегда вовремя поймут новые тенденции и сделают новый товар. Все это неплохо расписано в книгах по менеджмента и маркетингу.


3. «Сейчас Вы нарушаете Правила Форума.»

Даже если это и так, то Вы почему-то не сделали замечания А.Горшунову, который первый, будучи не в состоянии аргументировано возражать (или защищать свою позицию), просто перешел на личные выпады.

4. «В ближайшее время представитель Convera продолжит тему»

Я совсем не против участия представителя фирмы Convera. Но я надеюсь, Вы не думаете, что до того - уже 4 года со мной обсуждали эту тему в Интернете, в реале, на всероссийских конференциях и международном конгрессе – только «неграмотные» люди.

5. «А что реально Вы можете предложить?»

А о чем я говорю? О новом подходе построения СУЗ – АСУЗ и о проекте ИЭК (Горшунов его не задавал). И в мире это начинают развивать, - проект Грэя в США, проект Шустера на Украине (здесь уже с упоминанием моего подхода). Есть и в России, еще как минимум, одна группа ученых, работающая в данном направлении для медицины и придерживающаяся близких взглядов.

Прочитав внимательно помянутого Горшунова, я не нашел в его словах никаких выпадов, только ирония к своему незнанию предмета. Это не является грехом ни с какой точки зрения - все мы не знаем очень многого.
Я не утверждаю, что тема СУЗ обсуждалась с Вами только "некомпетентными людьми". Как Вы точно заметили - все развивается и изменяется. Так же и Convera очень сильно отличается от ИС Советских времен. При всем моем глубоком уважении к СССР с тех пор много воды утекло. Это примерно как сравнивать поколение машин класса EС и кластер на базе blade-серверов IBM (производительность 5 Тфлопс) Межведомственного суперкомпьютерного центра Академии наук РФ.
В Вашем знании предмета никто не сомневается.
Просьба только выражаться корректно и принять факт, что так или иначе мы имеем право на свое мнение. Все-таки мы не дискуссии на научном совете проводим - там сказано и в пылу спора забыто. Здесь остается и перечитывается.
Читая тему, я в общем и целом понимаю суть Вашего подхода.
Вот только как Вы переложите на программный язык эмоциональную окраску данных, степень доверия к данным, степень доверия к источникам, соотносимость с текущей ситуацией? А эти моменты являются немаловажными в информационно-аналитической работе.
В общем и целом при реализации Ваша система позволит ускорить ведение научных разработок, беря на себя рутинную работу.
Но ведение поисковых мероприятий для решения разведывательных и маркетингово-исследовательских задач я доверил бы только людям.
По поводу центра АНБ (США).
Вы написали, что я передергиваю, упоминая вместе с программной оболочкой, коей и является СУЗ, самый мощный суперкомпьютер планеты.
Все дело в том, что для реализации проекта подобные мощности будут необходимы.
В СПС "Гарант" для создания поиска по ситуации, которая имеет некоторые функции СУЗ (поиск во внутренней базе НПА), работают около 200 сотрудников: юристы, бухгалтеры, аналитики. И это только в центральном офисе в Москве. Добавим региональные представительства и цифра вырастет до 1 000 человек. А ведь они обрабатывают смешное количество данных - около 1 500 000 документов. Также... Само регулярное получение и обновление информации стоит огромных денег.
Достаточно просто подсчитать, какое количество человеко-часов необходимо для реализации Вашего проекта. Для замены людей необходим супер-центр как минимум с элементами искусственного интеллекта. Иначе даже созданная база останется без обновлений.
Учитывая скорость удваивания количества знаний на планете потребуются гигантские вычислительные возможности.
Единственный выход, который мне видится - это создание научного центра с кластером типа АНБ. Этот центр обрабатывает информацию.
Об источниках пока молчу....
Желающие за определенную плату пользуются вычислительными возможностями, обращаясь к системе по защищенному выделенному каналу.

_________________
Пусть Путь Ваш освещается Светом Души Вашей!

Сzyan

1 . «Вот только как Вы переложите на программный язык эмоциональную окраску данных»

Она исчезнет при переводе знаний на модели. Но сохраняются ссылки на первоисточники и желающие с ней могут ознакомиться. Например, для художественной лит-ры мои подходы не годятся.

2. «степень доверия к данным, степень доверия к источникам»

Ну здесь есть разные подходы и теоретические и практические. Основная сфера применения АСУЗ и ИЭК это инженерно-прикладная (в широком смысле, т.е нужна и для менеджеров и для руководителей и для врачей и учителей и т.д.), т.е. для всех тех, кому нужны конкретные знания и кто принимает решения на их основе.
А для всех нужны есть определенная иерархия в обязательности, например, приказы – стандарты, должностные инструкции – технологические описания – договора. Лишь этих документов (обязательных) для конкретных даже узких специальностей – тысячи , а то и десятки тысяч (только один Европейский институт выпустил за 4 года 10000 нормативных документов), а в совокупности – многие миллионы . И лишь потом идут книги, печатные статьи, а потом лишь Интернет. Ни один специалист сегодня не располагает даже близко необходимой совокупностью знаний необходимых для принятия решений. И это ситуация с каждым годом ухудшается.

Степень доверия определяется, в частности, статусом источника, специалистом, который отбирает документ для ввода, инженером по знаниям, который вводит данный документ в АСУЗ. Ввод происходит только для новых знаний, известные знания только подтверждают знания уже введенные (о чем делается ссылка) и т.д. При вводе одновременно фактически производится проверка вводимых знаний, части уже введенных знаний, т.е. выявление их достоверности, выявление (и устранение) ошибок (нестыковок) и тех и других . Применяются и статистические методы (частота использования) и т.д.

3. «соотносимость с текущей ситуацией?»

Есть два режима для АСУЗ – начальный, когда она создается – несколько лет, и рабочий – десятилетия, а может быть столетия (на мой взгляд, они создаются один раз на очень длительный период времени). При этом предприятия будут много раз разоряться или преобразовываться, а АСУЗ полностью или частыми перетаскиваться на новые. Так вот – в рабочем режиме, они хорошо смогут отслеживать текущую ситуацию, а в начальном этапе могут быть проблемы.

А вообще - в большинстве случаев текущая ситуация – это то, что давно создается и хорошо известно (но для меньшего круга людей). Вот , например, я (и определенный круг специалистов) уже около 3 лет выступаю по поводу Закона о технического регулирования [...] и др. Ситуация для абсолютного большинства выглядит текущей. Но ведь общее положение здесь с каждым годом ухудшается (и многое необратимо, хотя не было никаких проблем не допустить этого) и это затрагивает десятки миллионов жителей страны (хотя многие из них этого и не замечают). А ведь многое предсказано, в т.ч. и на десятилетия вперед. Ну и когда мы начнем опираться на знания, а не разводить каждый раз руками - «кто же мог подумать»

4. «разведывательных»

Ну это не моя сфера. Тем не менее, я наоборот столкнулся с широкой рекламой (сходу у меня нет ссылки под рукой) одного программного средства именно для разведывательных целей на базе подхода близкого к АСУЗ.

« и маркетингово-исследовательских задач я доверил бы только людям»

Здесь я бы не согласился – знания нужны всем. Исследования, не основанные на знаниях, никакого отношения к исследованиям не имеют. Мне много раз в Интрнете приходится сталкиваться с исследованиями, разработками, спорами в области того, что прекрасно известно. И многие на это годы тратят и миллионы, а в отдельных случаях – миллиарды долларов.

Сzyan

1. «Вы написали, что я передергиваю, упоминая вместе с программной оболочкой, коей и является СУЗ, самый мощный суперкомпьютер планеты. «

Я писал это в адрес А.Горшунова. Вы что одно и то же лицо?

2. «Все дело в том, что для реализации проекта подобные мощности будут необходимы. «

Вы знаете, я сам специалист по расчету вычислительных мощностей, например, разработанный мною отраслевой стандарт для этих целей использовался в автомобильной промышленности с 1983 г., у меня и сейчас предлагается новая методика для современных условий [...] Со мной сложно спорить по данному вопросу, тем более по тому, что я сам и предлагаю.

Более того, что сейчас нужно для крупного предприятия – централизованного хранилища данных (в любом случае нужного и без СУЗ) - не требуется. Емкость БЗ для АСУЗ при сравнимом числе документов намного меньше, а постепенно на многие порядки, чем требуется пока для применяемого традиционного подхода. А требуемые вычислительные мощности по быстродействию, также требуются меньшие.

3. «В СПС "Гарант" для создания поиска по ситуации, которая имеет некоторые функции СУЗ (поиск во внутренней базе НПА), работают около 200 сотрудников: юристы, бухгалтеры, аналитики. И это только в центральном офисе в Москве. Добавим региональные представительства и цифра вырастет до 1 000 человек.»

Ну и что? Это коммерческая структура для сбыта конкретной продукции. АСУЗ – это индивидуальная система для каждого крупного (пока) предприятия и нет проблемы продаж знаний (пока).

Если говорить о проекте ИЭК, как о массовом продукте, то там тоже постепенно будет формироваться аналогичная структура в зависимости от роста продаж.

4. «А ведь они обрабатывают смешное количество данных - около 1 500 000 документов.»

Ну и что? Это конкретная проблема конкретной сферы деятельности. Для ГАЗпрома может тоже потребоваться ввод в течение нескольких лет тоже подобного объема документов. Так хотите эффективно работать, так работайте, иначе конкуренты введут в свою АСУЗ 100 млн.документов и обойдут по качеству решений.

5. «Само регулярное получение и обновление информации стоит огромных денег. «

А как же Вы собираетесь работать без исходных документов? Тут Вас никакая АСУЗ не спасет.

6.. «Достаточно просто подсчитать, какое количество человеко-часов необходимо для реализации Вашего проекта.»

Так у меня же в [...] уже подсчитано, ничего страшного нет.

7. «Для замены людей необходим супер-центр как минимум с элементами искусственного интеллекта. Иначе даже созданная база останется без обновлений»

Людей никто заменять не собирается, нужен ИНТЕЛЛЕКТУАЛЬНЫЙ ПОМОЩНИК человека, иногда называют УСИЛИТЕЛЬ ИНТЕЛЛЕКТА. АСУЗ и ИЭК будут ими являться.

И АСУЗ и ИЭК основаны на использовании хорошо отработанных методов направления ИИ – тут никакого открытия нет, я об говорю постоянно.

А вот про обновлении БЗ – это устаревший подход. Если говорить о БД для управления производством или для подготовки финансовой отчетности, то там требуется.

А если говорить о БЗ для АСУЗ – это совсем иная проблема.
Здесь так же как для памяти человека возникает ситуация, невозможно все знания и информацию периодически все обновлять. Кроме того, не факт, что то, что сегодня не нужно и кажется неправильным, надо убирать. В отдельных источниках про это уже говорится. Т.е. обновление будет происходить постепенно и по частям, по ходу ввода новых знаний и по ходу практической эксплуатации (выявления проблем).
Т.е. тут никаких критических проблем тоже нет.


8. «Единственный выход, который мне видится - это создание научного центра с кластером типа АНБ.»

В АНБ совсем иная ситуация и проблематика. В АНБ уже около 25 лет действует система «Эшелон», которая контролирует весь мир (и представляет собой сеть ВЦ по миру) и пытается отследить все каналы связи – радио, теле-, телефонной, космической и все источники печатной информации и т.д. СССР пытались подобное создавать, но России это уже нереально. В абсолютном Большинстве случаев они не имеют доступа к первоисточникам и по отрывках вынуждены что-то извлекать. Кроме того, их интересует и эмоциональная сторона вопроса, здесь тоже может содержаться. Т.е. проблематика АСУЗ для них крайне даже не вторична, а десятирична. А для АСУЗ даже для рабочего этапа никогда подобного не потребуется, во всяком случае для коммерческих организаций.


9. «Желающие за определенную плату пользуются вычислительными возможностями, обращаясь к системе по защищенному выделенному каналу.»

Коллективные ВЦ начинают в России создаваться, но их мощности пока слабы.

sirius-2
Я и Горшунов - это 4 (четыре) разных человека!
Просто Александр спросил, а я ответил.
А Вы писали ему комментарии по моим словам как будто написано было им.
Просто накладочка вышла.
_________________
Полностью с Вами согласен, что Ваша система применима именно в науке. В бизнесе сразу возникают нюансы. Эмоциональная окраска важна далеко не только для художественной литературы. Сама система при реализации востребована при проведении бизнес-разведывательных мероприятий для обработки и оценки больших массивов информации.

"Здесь я бы не согласился – знания нужны всем. Исследования, не основанные на знаниях, никакого отношения к исследованиям не имеют. Мне много раз в Интрнете приходится сталкиваться с исследованиями, разработками, спорами в области того, что прекрасно известно. И многие на это годы тратят и миллионы, а в отдельных случаях – миллиарды долларов."

Вот это я вообще не понял - это к чему? Как это взаимосвязано с моими словами, что машина должна автоматизировать рутинные операции, но решение о соотносимости полученной информации, оценка и анализ должны делать люди? Ваши справедливые слова больше для темы "Маркетинговые исследования и бизнес-разведка" - но ведь с этим никто не спорит - я сам точно также считаю.

3. «В СПС "Гарант" для создания поиска по ситуации, которая имеет некоторые функции СУЗ (поиск во внутренней базе НПА), работают около 200 сотрудников: юристы, бухгалтеры, аналитики. И это только в центральном офисе в Москве. Добавим региональные представительства и цифра вырастет до 1 000 человек.»

Ну и что? Это коммерческая структура для сбыта конкретной продукции. АСУЗ – это индивидуальная система для каждого крупного (пока) предприятия и нет проблемы продаж знаний (пока).
При чем здесь продажа знаний? Я писал о трудоемкости логической обработки информации. К слову - сама СПС "ГАРАНТ" построена на С#. В текстовых блоках вставляются маркеры-метки для точной идентификации данных - это и увеличивает трудоемкость и стоимость сисемы. А в Вашем случае это еще более высокий сложный уровень обработки данных. Это будет по карману только ТНК, а обычные фирмы будут читать об этом в газетах. К слову- уровень автоматизации на заводах оставляет желать лучшего- на крупных заводах в большинстве своем констуктора продолжают работать с кульманом и бумагой- о системах типа T-Flex, AutoCad, Compas многие только слышали. Увы- для России это горькая реальность. А Вы о СУЗ говорите...
4. «А ведь они обрабатывают смешное количество данных - около 1 500 000 документов.»

Ну и что? Это конкретная проблема конкретной сферы деятельности. Для ГАЗпрома может тоже потребоваться ввод в течение нескольких лет тоже подобного объема документов. Так хотите эффективно работать, так работайте, иначе конкуренты введут в свою АСУЗ 100 млн.документов и обойдут по качеству решений.
Собственно я о том, что труд тысячи человек нужен для оперативной обработки 1,5 млн. документов. Для науки это ничтожно мало. 100 млн. - это лишь чуть более, чем ничто...
В Вашем случае обрабатываемый массив состоит из миллиардов документов, аудио- и видеоматериалов, графических изображений, программного кода, исполняемых файлов.
При реализации на внутрикорпоративном уровне- проблем действительно нет - но это ничего не дает. Мы начинаем все более эффективно управлять стремительно устаревающей информацией.
В итоге это будет обычная заводская- только электронная - библиотека. Там не будет пыли и истрепанных обложек, но и толку не более. А для оперативного обмена данными с внешней средой, обновление информации и обработка ее по Вашим принципам весьма затратна.

8. «Единственный выход, который мне видится - это создание научного центра с кластером типа АНБ.»

В АНБ совсем иная ситуация и проблематика. В АНБ уже около 25 лет действует система «Эшелон», которая контролирует весь мир (и представляет собой сеть ВЦ по миру) и пытается отследить все каналы связи – радио, теле-, телефонной, космической и все источники печатной информации и т.д. СССР пытались подобное создавать, но России это уже нереально. В абсолютном Большинстве случаев они не имеют доступа к первоисточникам и по отрывках вынуждены что-то извлекать. Кроме того, их интересует и эмоциональная сторона вопроса, здесь тоже может содержаться. Т.е. проблематика АСУЗ для них крайне даже не вторична, а десятирична. А для АСУЗ даже для рабочего этапа никогда подобного не потребуется, во всяком случае для коммерческих организаций.
АНБ мной упоминался как пример мощного компьютерного центра, на базе которого Пентагон и разрабатывает свои СУЗ. Об этом можно прочитать в любом еженедельном журнале "PC Week/RE" в разделе "Военные новости".
Без обновления любая БД мертва. Это большая электронная могила.
[...] "Национальная электронная библиотека" - более 5 млн. документов, 2,5 тыс. источников из 73 регионов России, СНГ,
более 7000 новых документов и 400 источников ежедневно.
Это к вопросу о потоке информации. (Источник: "Бизнес-разведка" Доронин) Больше по этому вопросу можно прочесть в книге Элвина Тоффлера "Третья волна". Если не ошибаюсь, то по его расчетам в середине 21 века объем информации на пленете будет удваиваться каждые 10 лет..... Это очень много.
А для того, чтобы управлять внутрикорпоративной библиотекой есть системы электронного документооборота.
Поисковые аналитические системы СУБД "Кронос" [...]
Текстово-аналитическая система (процессор сбора данных) Taiga (Франция)
Разработка "Tropes" ("Acetic" Франция) - семантический анализ крупных информационных массивов. Отбор требуемой информации происходит в соответствии с ключевыми словами и понятиями, связанными по смыслу.
"Info Tracer" ("Intelligent Search Solutions" США) - сбор информации экономического характера в сети Интернет.
[...] ("lexis-nexis" США) крупнейшая в мире полнотекстовая онлайновая информационная система, интегрерующая в себе более 300 баз данных. Содержит более 2 млрд. документов с глубоким архивом - до 30 лет по бизнес-информации и более 200 лет по юридической информации. Каждую неделю к ним добаляется около 14 млн. документов из 24 тыс. источников.
Эти источники я привел в качестве примера систем, где используются методы, аналогичные Вашей СУЗ - и развивающиеся в этом направлении. Обратите внимание на обновление и его скорость.
Еще к вопросу о мощностях. Допустим, в фирме есть СУЗ. Изначально ясно, что это большая фирма- у другой нет и денег и надобности. Большое количество пользователей будет изрядно нагружать вычислительные мощности. Здесь однопроцессорным сервером P4 не обойтись.
_______________________
В общем и целом я не спорю с Вами и Вашим подходом. Просто пишу об аналогичных разработках. А также о взгляде на вопрос со стороны бизнеса. Дело Ваше, но все-таки стоит быть очень внимательным к разведывательным функциям СУЗ. Также очень полезно ускорение НИОКР. За все это будут платить. Но без оперативного обновления система бессмысленна. Она не нужна. СПС "ГАРАНТ" без обновления нужна месяц. Максимум 2. Потом принимать решения становится опасно - законодательство меняется быстро.
В науке динамика гораздо выше. Не даром ТНК и покупают системы он-лайн разведки.

_________________
Пусть Путь Ваш освещается Светом Души Вашей!