Как сделать свой поисковик или моё хождение по граблям

Многие новички в сфере «вебмастеринга» (назовём это так) в какой-то момент обретают «гениальную» идею, «а не замутить мне свой поисковик?! продавать рекламу, рубить бабло!». Признаюсь, было и у меня такое… 3 раза.

Поисковик по рунету — убийца Яндекса

Насобирал ссылок по тематике, стал изучать, перелопатил всё, что обнаружил по Апорту и Яндексу. Скачал несколько бесплатных движков с пауками, но «знаний» не хватило, даже чтоб их просто поставить. Голь на выдумки хитра: взял скрипт каталога (без бд, на txt файлах), с поиском по базе сайтов и стал наполнять его сайтами: вначале сам, потом нанял модератора. И что бы вы думали? Разумеется, затея провалилась, но появились идеи, которые вылились поисковик по книгам, о нём — далее.

Поисковик по книгам

Покопавшись в немногичисленных партнёрках рунета (2004-2007 года примерно), взял две книжных: Колибри и Болеро, причина выбора проста — в обоих случаях из партнёрского интерфейса можно было выкачать базы данных с товарами этих магазинов. Информации в базах было мало: название книги, автор, адрес на сайте магазина. Но этого хватило чтобы создать каталог+поисковик. Причём по книгам выдавались и аннотации (парсились в режиме реального времени с сайтов магазинов, да, о кэшировании я тогда и не подозревал, равно как и не пользовался автоматическим редиректом…).

Книжный поисковик успехом не пользовался, но каталог приносил тоны нефти трафика с Яндекса, соответственно продажи книг. Большинство покупок были с доставкой почтой, наложенным платежом, поэтому поступлений на счёт ждать приходилось месяцами… Почта России.

Убийца Гугла

Основное направление моей работы было в «буржунете», в частности работал с PPC, преимущественно с Юмаксом, а посему в качестве «движка» для следующего поисковика выбрал их фид. Вооружившись php (а точнее переделав парсеры книжных каталогов), научился добавлять к выдаче дополнительную информацию соответственно запросу пользователя, картинки и т.д (прям как сейчас начал делать Гугл🙂 ).

И тут случилось прекрасное. Поисковики: Мсн (ныне — Бинг) и Гугл начали индексировать результаты выдачи «моего поисковика» и радовать трафиком, который в свою очередь щедро оплачивался Юмаксом.

И пока коллеги клепали доры, я клепал такие поисковики: разные дизы, разные источники для дополнительной информации. Зачем делать доры и перенаправлять трафик на фид, рискуя попасть в бан из-за редиректа, когда можно делать, например, тематические мини-сайты, без редиректа? Белые дорвеи, кажется так сейчас их принято назвать.  Идилия длилась не долго — меньше года. Смены алгоритмов в начале на мсн, потом и у Гугла похоронили подобные решения (точнее, сделали их куда менее эффективными).

Где-то во время краха «системы» в мсн, я «с горя» взял один из забанненых доменов — adne.info и перенёс на него блог, который ранее вёл то на каком-то форуме, то в рамках сайта рекламного агентства.

3 раза! 3 раза наступал на похожие грабли: некоторые люди не учатся даже на собственных ошибках:)

Автор поста:
  1. Serg

    Угу, поисковик, маленький недогугл, недояша, чего надоть:
    1 движок выдачи, 2 паучки (для начала один), 3 БД (она будет не одна), 4 — а как индексировать?

    1. Сварганить движок (вернее прикрутить для выдачи) вроде не так и сложно.
    2. Завести пару-тройку паучков, вроде тоже можно (но возникает вопрос, если хавать они будут все подряд, то это уже почти гугл, но тут-же вылезет проблемка, собрать всё, они не смогут упрутся в ресурсы, с которыми у энтузиастов обычно проблемы, если конечно прадедушка не Рокфеллер, по ссылкам они очень далеко забредут, остается отсеивать то что не нужно, а вернее, то, что нужно… ну вобщем тоже можно решить.
    3. БД, подпунктики a) куда собирать все что нашли, b) то, что в обработке, c) соответственно где то, что будет (или не будет) в выдаче.
    4. Как отсеять зерна от плевел? вопрос творческий….
    Заключение можно постараться конечно и ченить эдакое сварганить, но опять необходимо понимать что если и заморачиваться, то для начала над очень узкой направленностью… и кроме этого еще очень много всего надо будет…

  2. Oo

    Если хорошо подумать мозгами можно создать поисковик на много круче чем гугл.

    • Alex

      Давайте создадим. вообще эту гоп компанию легко трахнуть. сначала нужно создать потовый ящик вне досигаемости гугл мафии

  3. НДТ

    из каждого опыта можно подчеркнуть плюсы и минусы проделанной работы

  4. Ольга

    Это опыт! Дорогого стоит!
    Я вот тоже на грабли наступила: открыла сайт на .рф. Жалею, но делаю.
    Он с Вашим ни в какое сравнение не идет. Лепет младенца))

    • Alex Hodinar

      Рф я тоже как-то не доверяю, а при нынешних тенденциях побега из рунета многих сайтов, авторитет этой зоны не велик, но зато по телефону удобно диктовать.

  5. haserk

    Ага, тоже хотел поисковик замутить, когда создал первый «сайт», причем на юкозе) Но хорошо, что не стал браться за эту безнадегу)

  6. Петров Олег

    Пост из серии «я тоже человек»? Так даже интереснее.

  7. Тагир

    Вы Яндекс изучали, а я смотрел на поисковики, которые запускались, изучал их опыт. На Нигму посмотрел и сразу оценил свои перспективы. Пробуют, хвалят, а замуж не мерут — это про Нигму.

    • Alex Hodinar

      Их и вправду хвалят, но не идёт народ, зато инвестируют в них периодически.

  8. Евген

    Заметь, когда не было денег на программистов, мы чудили как могли, не ждали, вкалывали, а сейчас — слили всю текучку на команду или в аутсорс, а сами по конфам да междусобойчикам. При этом ничего нового не создаём, как говорил один герой — «мы перестали делать глупости».

    • Alex Hodinar

      На конференциях и выставках я не часто бываю, поскольку половина таких мероприятий лишена смысла (увы, пережёвывают одни и теже кейсы, причём чужие). И работу «в поле» я не особо забрасываю, значительную часть перепоручаю — но и сам постоянно что-то пишу, делаю, просто мне это интересно + в последнее время стал много консультировать.

  9. ЛОМ

    Следующее поколение вебмастеров уже делало социальные сети и искало движки вконтакте, одноклассников.

    Я тоже приспосабливал что находил, гостевую книгу с регистрацией пользователей на пхп, получилась такая общая для всех стена, затянул туда школьных друзей, общались некоторое время, но потом все во всконтакте разбежались. Дуров, ты убил мой бизнес!:)

  10. Константин

    Ну, результат же был. Лично я до сих пор основную прибыль получаю со своего каталога Интернет магазинов. Правда без дорвейного трафа. А один каталог, до всех этих нововведений ПС тоже работал как дорвей, т.е. индексировались результаты. Нормальный ход развития в соответствии с реалиями имхо.

  11. Seorubl

    Ладно, у всех начинающих вебмастеров и программистов есть такие идеи по захвату мира. Я на заре своей вебмастерской карьеры тоже делал глобальный авторынок с непременным вовлечением всей России и ближнего зарубежья. Потом был автопоиск. Далее я осознал, что с гигантами типа авто.ру, дром.ру или майл.ру конкурировать довольно сложно и переключился на создание лучшего в мире форумного движка. Но процессе работы осознал на сколько я отстаю от лидеров рынка. А тут ещё и соц.сети начали своё активное развитие и захват аудитории. Но в результате проделанной работы я получил много опыта в программировании, а также в развитии и продвижении интернет проектов.Так что всё было не зря, прошлые ошибки мне помогают развиваться в настоящем. Хотя, конечно, идеи глобальных проектов посещают мою голову и сейчас. Но теперь я более осознано подхожу к их реализации и большую часть отбрасываю на стадии задумок.

    • Alex Hodinar

      «Так трусами нас делает раздумье, и так решимости природный цвет хиреет под налётом мысли бледной» (С) Шекспир.

      Сильно осторожничать тоже плохо, борю в себе эту черту, но в результате каждый месяц несколько доменов и небольших сайтов удаляю, поскольку понимаю что зря затеял:)

  12. DimaX

    Ну, какие ж это грабли. Что-то сделал, пусть и «велосипеды», да еще и не зря, т.к. хотя бы что-то они принесли, как в денежном плане, так и в моральном 🙂

    • Alex Hodinar

      Слукавил конечно, по деньгам эти опыты были очень кстати.

Оставить комментарий


Adblock
detector