18 сентября 2010 ушел из жизни основатель форума mulke.net Максим (Ice)... Помним, скорбим.
Текущее время: 29 мар 2024 2:58

Часовой пояс: UTC + 3 часа




Начать новую тему Ответить на тему  [ Сообщений: 17 ]  На страницу 1, 2  След.
Автор Сообщение
 Заголовок сообщения: Вопрос к вебмастерам
Ссылка на сообщение #1  СообщениеДобавлено: 01 янв 2017 22:36 
Не в сети
Аватар пользователя

Зарегистрирован: 15 апр 2008 15:05
Сообщений: 1671
Откуда: Плюк созвездие Кин-дза-дза.
Пункты репутации: 349
Задумал для работы реализовать сайт с некоторыми функциями, может быть кто подскажет как лучше и проще реализовать (cms+ набор плагинов), рассмотрю все предложения по реализации проекта
[spoiler=]1. Новости ( новости автоматически парсятся с нужных сайтов + групп соцсетях)+ надо чтобы автоматом рассылались на стены моих групп в соцсетях.
2. каталог магазинов (с отзывами)
- каталог магазинов с рейтингом и отзывами покупателей+ возможность представителей отвечать на отзывы( отзывы положительные
+фото+ видео с ютуб + № Заказа) для отзывов отрицательных ( + фото + видео с ютуб + № Заказа)
3. частные объявления ( регистрация пользователя + форма объявления (5 фото (основное + 4) + категории + captha + условия
публикации (отдельная страница с условиями) для продавцов (рейтинг продавца) + чем выше рейтинг тем больше прав на акк ( подразумевается что будет возможность показывать лучших продавцов сайта в отдельном виджете) + отзывы о продавце на его странице
* - шаблон желательно HTML5[/spoiler]


Вернуться наверх
 Профиль  
 
 Заголовок сообщения: Re: Вопрос к вебмастерам
Ссылка на сообщение #2  СообщениеДобавлено: 23 фев 2019 17:23 
Не в сети
Аватар пользователя

Зарегистрирован: 04 сен 2010 14:19
Сообщений: 647
Откуда: ЛНР. Россия.
Когда Вы заболели: 0- 0-2004
Пункты репутации: 158
Вижу не очень популярная ветка:) Но всё таки спрошу.
Коллеги, кто может парсить сайты с сохранением результатов в Excel или CSV?
В частности нужно вытащить инфу (название, адрес, телефон, сайт, мыло, ФИО руководителя) конкретно с этой страницы: https://www.cataloxy.ru/firms/ugol-torf-1133.htm
Также буду благодарен за любую полезную инфу по обучению этому ремеслу с нуля, то бишь для полного профана в этом деле, в инете не смог нарыть ничего толкового. Возможно не там или не то искал:)

_________________
В детстве я очень любил мультики,но никогда не думал,что я им стану!


Вернуться наверх
 Профиль  
 
 Заголовок сообщения: Re: Вопрос к вебмастерам
Ссылка на сообщение #3  СообщениеДобавлено: 23 фев 2019 18:09 
Не в сети

Зарегистрирован: 20 май 2011 19:51
Сообщений: 1829
Пункты репутации: 259
Гоголь77
в сети куча бесплатных парсеров

_________________
всё будет хорошо Я узнавал


Вернуться наверх
 Профиль  
 
 Заголовок сообщения: Re: Вопрос к вебмастерам
Ссылка на сообщение #4  СообщениеДобавлено: 23 фев 2019 18:30 
Не в сети
Аватар пользователя

Зарегистрирован: 04 сен 2010 14:19
Сообщений: 647
Откуда: ЛНР. Россия.
Когда Вы заболели: 0- 0-2004
Пункты репутации: 158
Ruven
Например???

_________________
В детстве я очень любил мультики,но никогда не думал,что я им стану!


Вернуться наверх
 Профиль  
 
 Заголовок сообщения: Re: Вопрос к вебмастерам
Ссылка на сообщение #5  СообщениеДобавлено: 23 фев 2019 18:48 
Не в сети
Аватар пользователя

Зарегистрирован: 16 мар 2008 22:29
Сообщений: 5162
Изображения: 2
Откуда: Москва
Пункты репутации: 788
Ruven
все рабочие парсеры платные...... безплатные одно гомно

_________________
Winner, winner, chicken dinner!
Изображение


  Рейтинг: 3.23%
Вернуться наверх
 Профиль Персональный альбом  
 
 Заголовок сообщения: Re: Вопрос к вебмастерам
Ссылка на сообщение #6  СообщениеДобавлено: 23 фев 2019 19:03 
Не в сети
Аватар пользователя

Зарегистрирован: 04 сен 2010 14:19
Сообщений: 647
Откуда: ЛНР. Россия.
Когда Вы заболели: 0- 0-2004
Пункты репутации: 158
Lar4 писал(а):
Ruven
все рабочие парсеры платные..... безплатные одно гомно

Посмотрел "бесплатные" парсеры. во-первых, это не то, что мне нужно, во-вторых, из всех бесплатных парсеров нашел только несколько действительно бесплатных, но и беспонтовых. Так что полностью согласен.
Ruven, я же сразу спросил "кто умеет парсить сайты?", кинул ссылку на сайт, который нужно парсить.
Вопрос: ты владеешь этим навыком? Если тебе делать нех... абы отписаться, то не надо - не засоряй эфир.

_________________
В детстве я очень любил мультики,но никогда не думал,что я им стану!


Вернуться наверх
 Профиль  
 
 Заголовок сообщения: Re: Вопрос к вебмастерам
Ссылка на сообщение #7  СообщениеДобавлено: 23 фев 2019 19:27 
Не в сети

Зарегистрирован: 20 май 2011 19:51
Сообщений: 1829
Пункты репутации: 259
Гоголь77
https://netpeaksoftware.com/ru/
пользовался этим

_________________
всё будет хорошо Я узнавал


Вернуться наверх
 Профиль  
 
 Заголовок сообщения: Re: Вопрос к вебмастерам
Ссылка на сообщение #8  СообщениеДобавлено: 23 фев 2019 19:34 
Не в сети
Аватар пользователя

Зарегистрирован: 16 мар 2008 22:29
Сообщений: 5162
Изображения: 2
Откуда: Москва
Пункты репутации: 788
Гоголь77 писал(а):
я же сразу спросил "кто умеет парсить сайты?

для этого надо сначала скрафтить скрипт под твои нужды, движки ну и тд и тп......
мало кто из мультов это может зделать спроси Пашкевича он вроде занимается автономией )))

_________________
Winner, winner, chicken dinner!
Изображение


Вернуться наверх
 Профиль Персональный альбом  
 
 Заголовок сообщения: Re: Вопрос к вебмастерам
Ссылка на сообщение #9  СообщениеДобавлено: 23 фев 2019 20:10 
Не в сети
Аватар пользователя

Зарегистрирован: 04 сен 2010 14:19
Сообщений: 647
Откуда: ЛНР. Россия.
Когда Вы заболели: 0- 0-2004
Пункты репутации: 158
Ruven писал(а):
Гоголь77
https://netpeaksoftware.com/ru/
пользовался этим

Чё-то я не въеду как этим можно выдернуть необходимую мне инфу (название компании, номер телефона, адрес, мыло, сайт, ФИО)...

_________________
В детстве я очень любил мультики,но никогда не думал,что я им стану!


Вернуться наверх
 Профиль  
 
 Заголовок сообщения: Re: Вопрос к вебмастерам
Ссылка на сообщение #10  СообщениеДобавлено: 23 фев 2019 20:11 
Не в сети
Аватар пользователя

Зарегистрирован: 04 сен 2010 14:19
Сообщений: 647
Откуда: ЛНР. Россия.
Когда Вы заболели: 0- 0-2004
Пункты репутации: 158
Lar4 писал(а):
Гоголь77 писал(а):
я же сразу спросил "кто умеет парсить сайты?

для этого надо сначала скрафтить скрипт под твои нужды, движки ну и тд и тп.....
мало кто из мультов это может зделать спроси Пашкевича он вроде занимается автономией )))

Спасибо за подсказку. Ху из Пашкевич:)?

_________________
В детстве я очень любил мультики,но никогда не думал,что я им стану!


Вернуться наверх
 Профиль  
 
 Заголовок сообщения: Re: Вопрос к вебмастерам
Ссылка на сообщение #11  СообщениеДобавлено: 23 фев 2019 20:39 
Не в сети

Зарегистрирован: 20 май 2011 19:51
Сообщений: 1829
Пункты репутации: 259
Гоголь77
там в настройка нужно прописать какой текст искать
но тут проблема в другом
на сайте который ты дал нет ФИО руководителей
на некоторых страницах контактное лицо просто имя

_________________
всё будет хорошо Я узнавал


Вернуться наверх
 Профиль  
 
 Заголовок сообщения: Re: Вопрос к вебмастерам
Ссылка на сообщение #12  СообщениеДобавлено: 23 фев 2019 20:49 
Не в сети
Аватар пользователя

Зарегистрирован: 16 мар 2008 22:29
Сообщений: 5162
Изображения: 2
Откуда: Москва
Пункты репутации: 788
Гоголь77 писал(а):
Спасибо за подсказку. Ху из Пашкевич:)?

шалопай
Ruven
это повезёт если спарсить нужно инфу с коммерческого движка а если самописный то надо полюбому скрипт писать

_________________
Winner, winner, chicken dinner!
Изображение


Вернуться наверх
 Профиль Персональный альбом  
 
 Заголовок сообщения: Re: Вопрос к вебмастерам
Ссылка на сообщение #13  СообщениеДобавлено: 23 фев 2019 20:57 
Не в сети
Аватар пользователя

Зарегистрирован: 04 сен 2010 14:19
Сообщений: 647
Откуда: ЛНР. Россия.
Когда Вы заболели: 0- 0-2004
Пункты репутации: 158
Ruven
Мне ФИО не обязательно. Главное - название компании и номер телефона, чтобы сохранял в Excel.
Lar4
Ага, спасибо. спрошу.
Я нашёл парсинг сайтов сразу в Excel:
https://parserok.ru/
Только нужно для каждого сайта/ раздела/ категории заказывать скрипт, а это не есть хорошо - уж больно накладно.
Может есть среди нас мастера?! Кто расскажет и покажет принцип и процесс написания?
Буду благодарен.

_________________
В детстве я очень любил мультики,но никогда не думал,что я им стану!


Вернуться наверх
 Профиль  
 
 Заголовок сообщения: Re: Вопрос к вебмастерам
Ссылка на сообщение #14  СообщениеДобавлено: 23 фев 2019 21:42 
Не в сети
Аватар пользователя

Зарегистрирован: 30 ноя 2008 3:15
Сообщений: 368
Изображения: 0
Когда Вы заболели: 05.06.1998
Пункты репутации: 120
Гоголь77

Здравствуй!
Это хорошо что хочешь учиться :good: (для умников - парсеры пишут не под движок а под верстку :beer: - если парсят html)

Для начало надо написать сам алгоритм. Я не думаю что ты (Гоголь) хочешь парсить одну страницу...
Обычно это выглядит так: Заходим на сайт. Парсим превьюшки и берем из них на стр с полным комплектом данных. Потом последовательно собираем данные. Потом идем на следующую стр (я про пагинацию) и так по кругу... + надо знать как часто это будет делаться (чтобы не напрягать хост донора) + не со своего ип это делать и переодически менять (в процессе парсинга менять вообще хорошо)

На каком языке будешь писать?

_________________
Воля — это то, что заставляет тебя побеждать, когда твой рассудок говорит тебе, что ты повержен.
Карлос Кастанеда


Вернуться наверх
 Профиль Персональный альбом  
 
 Заголовок сообщения: Re: Вопрос к вебмастерам
Ссылка на сообщение #15  СообщениеДобавлено: 23 фев 2019 22:08 
Не в сети
Аватар пользователя

Зарегистрирован: 04 сен 2010 14:19
Сообщений: 647
Откуда: ЛНР. Россия.
Когда Вы заболели: 0- 0-2004
Пункты репутации: 158
Шалопай писал(а):
Гоголь77

Здравствуй!
Это хорошо что хочешь учиться :good: (для умников - парсеры пишут не под движок а под верстку :beer: - если парсят html)

Для начало надо написать сам алгоритм. Я не думаю что ты (Гоголь) хочешь парсить одну страницу...
Обычно это выглядит так: Заходим на сайт. Парсим превьюшки и берем из них на стр с полным комплектом данных. Потом последовательно собираем данные. Потом идем на следующую стр (я про пагинацию) и так по кругу... + надо знать как часто это будет делаться (чтобы не напрягать хост донора) + не со своего ип это делать и переодически менять (в процессе парсинга менять вообще хорошо)

На каком языке будешь писать?

Здоров. из всего вышесказанного отвечаю последовательно:
1. Конечно не одну страницу (вот только по этому запросу нужно обработать 38 страниц), но пока только этот сайт (по работе нужно составлять базы данных, а готовый парсер, в частности 2GIS ни в пи..., ни в Красную Армию как говорится).
2. О процессе парсинга я более-менее имею представление.
3. Делаться это будет возможно каждый день - работа такая))).
4. Про IP тоже в курсах.
5. Я вообще не могу писать. Поэтому и обращаюсь за помощью к знающим людям.

_________________
В детстве я очень любил мультики,но никогда не думал,что я им стану!


Вернуться наверх
 Профиль  
 
Показать сообщения за:  Сортировать по:  
Начать новую тему Ответить на тему  [ Сообщений: 17 ]  На страницу 1, 2  След.

Часовой пояс: UTC + 3 часа


Кто сейчас на форуме

Сейчас этот форум просматривают: нет зарегистрированных пользователей и гости: 1


Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения

cron