Mulke.net - лечение токсической энцефалопатии https://mulke.net:443/ |
|
Вопрос к вебмастерам https://mulke.net:443/viewtopic.php?f=43&t=1539 |
Страница 1 из 2 |
Автор: | ДЮДЯ [ 01 янв 2017 22:36 ] |
Заголовок сообщения: | Вопрос к вебмастерам |
Задумал для работы реализовать сайт с некоторыми функциями, может быть кто подскажет как лучше и проще реализовать (cms+ набор плагинов), рассмотрю все предложения по реализации проекта [spoiler=]1. Новости ( новости автоматически парсятся с нужных сайтов + групп соцсетях)+ надо чтобы автоматом рассылались на стены моих групп в соцсетях. 2. каталог магазинов (с отзывами) - каталог магазинов с рейтингом и отзывами покупателей+ возможность представителей отвечать на отзывы( отзывы положительные +фото+ видео с ютуб + № Заказа) для отзывов отрицательных ( + фото + видео с ютуб + № Заказа) 3. частные объявления ( регистрация пользователя + форма объявления (5 фото (основное + 4) + категории + captha + условия публикации (отдельная страница с условиями) для продавцов (рейтинг продавца) + чем выше рейтинг тем больше прав на акк ( подразумевается что будет возможность показывать лучших продавцов сайта в отдельном виджете) + отзывы о продавце на его странице * - шаблон желательно HTML5[/spoiler] |
Автор: | Гоголь77 [ 23 фев 2019 17:23 ] |
Заголовок сообщения: | Re: Вопрос к вебмастерам |
Вижу не очень популярная ветка:) Но всё таки спрошу. Коллеги, кто может парсить сайты с сохранением результатов в Excel или CSV? В частности нужно вытащить инфу (название, адрес, телефон, сайт, мыло, ФИО руководителя) конкретно с этой страницы: https://www.cataloxy.ru/firms/ugol-torf-1133.htm Также буду благодарен за любую полезную инфу по обучению этому ремеслу с нуля, то бишь для полного профана в этом деле, в инете не смог нарыть ничего толкового. Возможно не там или не то искал:) |
Автор: | Ruven [ 23 фев 2019 18:09 ] |
Заголовок сообщения: | Re: Вопрос к вебмастерам |
Гоголь77 в сети куча бесплатных парсеров |
Автор: | Гоголь77 [ 23 фев 2019 18:30 ] |
Заголовок сообщения: | Re: Вопрос к вебмастерам |
Ruven Например??? |
Автор: | Lar4 [ 23 фев 2019 18:48 ] |
Заголовок сообщения: | Re: Вопрос к вебмастерам |
Ruven все рабочие парсеры платные...... безплатные одно гомно |
Автор: | Гоголь77 [ 23 фев 2019 19:03 ] |
Заголовок сообщения: | Re: Вопрос к вебмастерам |
Lar4 писал(а): Ruven все рабочие парсеры платные..... безплатные одно гомно Посмотрел "бесплатные" парсеры. во-первых, это не то, что мне нужно, во-вторых, из всех бесплатных парсеров нашел только несколько действительно бесплатных, но и беспонтовых. Так что полностью согласен. Ruven, я же сразу спросил "кто умеет парсить сайты?", кинул ссылку на сайт, который нужно парсить. Вопрос: ты владеешь этим навыком? Если тебе делать нех... абы отписаться, то не надо - не засоряй эфир. |
Автор: | Ruven [ 23 фев 2019 19:27 ] |
Заголовок сообщения: | Re: Вопрос к вебмастерам |
Гоголь77 https://netpeaksoftware.com/ru/ пользовался этим |
Автор: | Lar4 [ 23 фев 2019 19:34 ] |
Заголовок сообщения: | Re: Вопрос к вебмастерам |
Гоголь77 писал(а): я же сразу спросил "кто умеет парсить сайты? для этого надо сначала скрафтить скрипт под твои нужды, движки ну и тд и тп...... мало кто из мультов это может зделать спроси Пашкевича он вроде занимается автономией ))) |
Автор: | Гоголь77 [ 23 фев 2019 20:10 ] |
Заголовок сообщения: | Re: Вопрос к вебмастерам |
Ruven писал(а): Чё-то я не въеду как этим можно выдернуть необходимую мне инфу (название компании, номер телефона, адрес, мыло, сайт, ФИО)... |
Автор: | Гоголь77 [ 23 фев 2019 20:11 ] |
Заголовок сообщения: | Re: Вопрос к вебмастерам |
Lar4 писал(а): Гоголь77 писал(а): я же сразу спросил "кто умеет парсить сайты? для этого надо сначала скрафтить скрипт под твои нужды, движки ну и тд и тп..... мало кто из мультов это может зделать спроси Пашкевича он вроде занимается автономией ))) Спасибо за подсказку. Ху из Пашкевич:)? |
Автор: | Ruven [ 23 фев 2019 20:39 ] |
Заголовок сообщения: | Re: Вопрос к вебмастерам |
Гоголь77 там в настройка нужно прописать какой текст искать но тут проблема в другом на сайте который ты дал нет ФИО руководителей на некоторых страницах контактное лицо просто имя |
Автор: | Lar4 [ 23 фев 2019 20:49 ] |
Заголовок сообщения: | Re: Вопрос к вебмастерам |
Гоголь77 писал(а): Спасибо за подсказку. Ху из Пашкевич:)? шалопай Ruven это повезёт если спарсить нужно инфу с коммерческого движка а если самописный то надо полюбому скрипт писать |
Автор: | Гоголь77 [ 23 фев 2019 20:57 ] |
Заголовок сообщения: | Re: Вопрос к вебмастерам |
Ruven Мне ФИО не обязательно. Главное - название компании и номер телефона, чтобы сохранял в Excel. Lar4 Ага, спасибо. спрошу. Я нашёл парсинг сайтов сразу в Excel: https://parserok.ru/ Только нужно для каждого сайта/ раздела/ категории заказывать скрипт, а это не есть хорошо - уж больно накладно. Может есть среди нас мастера?! Кто расскажет и покажет принцип и процесс написания? Буду благодарен. |
Автор: | Шалопай [ 23 фев 2019 21:42 ] |
Заголовок сообщения: | Re: Вопрос к вебмастерам |
Гоголь77 Здравствуй! Это хорошо что хочешь учиться (для умников - парсеры пишут не под движок а под верстку - если парсят html) Для начало надо написать сам алгоритм. Я не думаю что ты (Гоголь) хочешь парсить одну страницу... Обычно это выглядит так: Заходим на сайт. Парсим превьюшки и берем из них на стр с полным комплектом данных. Потом последовательно собираем данные. Потом идем на следующую стр (я про пагинацию) и так по кругу... + надо знать как часто это будет делаться (чтобы не напрягать хост донора) + не со своего ип это делать и переодически менять (в процессе парсинга менять вообще хорошо) На каком языке будешь писать? |
Автор: | Гоголь77 [ 23 фев 2019 22:08 ] |
Заголовок сообщения: | Re: Вопрос к вебмастерам |
Шалопай писал(а): Гоголь77 Здравствуй! Это хорошо что хочешь учиться (для умников - парсеры пишут не под движок а под верстку - если парсят html) Для начало надо написать сам алгоритм. Я не думаю что ты (Гоголь) хочешь парсить одну страницу... Обычно это выглядит так: Заходим на сайт. Парсим превьюшки и берем из них на стр с полным комплектом данных. Потом последовательно собираем данные. Потом идем на следующую стр (я про пагинацию) и так по кругу... + надо знать как часто это будет делаться (чтобы не напрягать хост донора) + не со своего ип это делать и переодически менять (в процессе парсинга менять вообще хорошо) На каком языке будешь писать? Здоров. из всего вышесказанного отвечаю последовательно: 1. Конечно не одну страницу (вот только по этому запросу нужно обработать 38 страниц), но пока только этот сайт (по работе нужно составлять базы данных, а готовый парсер, в частности 2GIS ни в пи..., ни в Красную Армию как говорится). 2. О процессе парсинга я более-менее имею представление. 3. Делаться это будет возможно каждый день - работа такая))). 4. Про IP тоже в курсах. 5. Я вообще не могу писать. Поэтому и обращаюсь за помощью к знающим людям. |
Страница 1 из 2 | Часовой пояс: UTC + 3 часа |
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group http://www.phpbb.com/ |