Куда развиваться поисковикам?

У поисковиков существует много проблем, основные из них - рост интернета и дорвеи.

Пока ещё одна компания может иметь достаточно ресурсов чтобы пытаться охватить весь интернет и к тому же убеждать в этом общественность. Но уже пару-тройку лет назад начали появляться "частные" мини-поисковики, охватывающие лишь вершки интернета. У некоторых даже не сильно страдает при этом полнота поиска. Если почитать новости, то видна тенденция роста количества таких мини-поисковиков. Причём большинство из них довольно эффективно борются с дорвеями, ибо часто чистота выдачи для них важнее полноты индекса. Но как только мини-поисковик начинает отдавать заметное количество трафика, как только на страницах форумов появляются топики "как оптимизироваться под ...", то дорвейщики довольно быстро побеждают и выдача этого мини-поисковика становится забита мусором по коммерческим запросам. Пример тому Gigablast.com . Год назад я удивлялся чистоте его выдачи, сейчас же мне его жалко

Получается интересная картина: качественная выдача возможна только на малопосещаемых поисковиках, которые бессмысленно спамить. При этом полноту индекса в какой-то тематике могут обеспечить узко тематические мини-поисковики. Плюс, с ростом интернета проиндексировать все его документы станет чертовски сложно.

Если немного покумекать, то в голову приходит идея децентрализованного­ поисковика, когда кусочки индекса, поисковые боты и т.п. живут на компьютерах обычных юзеров, а поиск ведётся по индексам друзей. Что-то вроде поисковой пиринговой сети. Кому-то может показаться, что в данном случае сильно пострадает полнота поиска, но её легко можно будет расширить, задав область поиска не только друзей, но и их друзей тоже.

На MindMix.ru подобным способом мы довольно успешно боремся с хамством. Пользователи разрешают писать комменты только друзьям и их друзьям, тем самым почти полность избавляясь от негатива в свой адрес.

В таких децентрализированны­х поисковиках полностью пропадает проблема поискового спама, ибо друзей выбираешь сам. Поиск будет более релевантный и персонализированный­. У каждого фактически будет свой поисковый индекс.

При этом появляются новые бонусы, которые раньше были недоступны: поиск и скачивание фильмов, музыки и любыз других файлов на компьютерах друзей. И RIAA уже остаётся не при делах.

При этом может показаться, что Гугл станет не нужен. Неправда ли, зачем он нужен, если все уже пользуются своими мини-поисковиками? А вот и нет. Гугл как раз и будет предоставляться подобный поиск по базам френдов. Более того, он уже написал для этого софт. Называется он Google Desctop Search. Им осталось только добавить в него поиск по Вашим друзьям. ИМХО, это случится тогда, когда Гугл закрепится на Вашем компьютере прочнее Микрософта.

Правда возникает проблема поиска друзей и запуска подобного сервиса в массы, но они уже почти решены, как ни странно. Есть куча социальных сервисов и ничего не стоит написать к ним "плагины", чтобы вытянуть из них информацию о Ваших френдах и предоставить её Вам для апрува.

Не решённым остаётся проблема "что индексировать в вебе?". Тут возможны вариации на тему: страницы, которые я посещаю, которые занёс в избранное (в дилишес, furl и т.д.), посещают я и мои друзья, посещаю я и далее по ссылкам на 1 уровень в глубь. Дорвеи отсекаются автоматически по редиректу, или автоматически по Байсу или полуавтоматически по кнопочке на тулбаре браузера "это спам".

Если решитесь писать подобное сами, то на первых порах при становлении такого поисковика в выдачу можно подмешивать результаты с Гугла, сделав мета-поисковик. Но это может сослужить плохую славу при продвижении ибо будет казаться, что Ваш поиск очередной мета-поисковик.

Вот такая ересь по утрам лезет в мою голову.