kzv
Legendary
Offline
Activity: 1722
Merit: 1285
OpenTrade - Open Source Cryptocurrency Exchange
|
|
June 20, 2018, 03:51:23 AM |
|
Клауд это маркетинговое говно для веб школоты. Все что делает клауд это запускает при первом заходе простейший яваскрипт с таймером. Типо проверка, что заходит браузер, а не робот лол. Все остальные вызовы проходят через чутка допиленный нгинкс.
|
|
|
|
ronaldinio (OP)
Newbie
Offline
Activity: 26
Merit: 0
|
|
June 23, 2018, 11:07:03 PM |
|
Всем спасибо за советы. В итоге написал парсер на VBA Excel, неделя на изучение, 3 недели на написание кода. Самый большой плюс VBA Excel это не нужно заморачиваться с базами данных, когда нужно что то быстро написать на "коленке" и структурировать информацию, тем более что Excel хорошо знаю, но не был знаком с VBA. Парсинг немного тормознутый, но недавно узнал что есть поддержка selenium. Для более серьезного парсинга, надо будет изучать что то посерьезней.
|
|
|
|
crypt0pank
Newbie
Offline
Activity: 3
Merit: 0
|
|
June 27, 2018, 09:30:05 PM |
|
Всем спасибо за советы. В итоге написал парсер на VBA Excel, неделя на изучение, 3 недели на написание кода. Самый большой плюс VBA Excel это не нужно заморачиваться с базами данных, когда нужно что то быстро написать на "коленке" и структурировать информацию, тем более что Excel хорошо знаю, но не был знаком с VBA. Парсинг немного тормознутый, но недавно узнал что есть поддержка selenium. Для более серьезного парсинга, надо будет изучать что то посерьезней.
Изучай C#, сможешь парсить всё что угодно, там куча библиотек, часто нужны управляемые браузеры, чтобы кликнуть куда-то, чтобы popup открылся, или прокрутить вниз, чтобы страничка прогрузилась, там можно подключить несколько управляемых браузеров (тот же селениум есть на C#, мозилла, хромиум, он же хром, стандартный IE - на нём вообще свой рабочий браузер можно за 2 минуты наваять - я это на ютубе увидел, с тех пор дружу с C#, хотя я на GeckoFX лучше за 5 минут сделаю), конечно ещё лучше C или C++, это прям вообще круто, но мне вот лень их изучать, я C# знаю, там плюшек много слишком.
|
|
|
|
TheMadman1992
Newbie
Offline
Activity: 70
Merit: 0
|
|
June 28, 2018, 12:10:31 AM |
|
Все кто тебе здесь ответил - первый раз слышат слово парсинг и тем более в этом не шарят да и ты сам не шиша не шаришь раз так вопрос ставишь
Доброго времени суток! А как надо ставить вопрос? И чем плох nodejs с модулем puppetteer? Если Вы в этом разбираетесь может просветите?
|
|
|
|
kzv
Legendary
Offline
Activity: 1722
Merit: 1285
OpenTrade - Open Source Cryptocurrency Exchange
|
|
June 28, 2018, 05:17:36 AM |
|
Все кто тебе здесь ответил - первый раз слышат слово парсинг и тем более в этом не шарят да и ты сам не шиша не шаришь раз так вопрос ставишь
Доброго времени суток! А как надо ставить вопрос? И чем плох nodejs с модулем puppetteer? Если Вы в этом разбираетесь может просветите? Не обращайте внимания это бот-флудер. Его высер подойдет к любой теме с вопросом. Кстати, можете заработать мерит от модератора если будете искать таких долбоебов и репортить на них.
|
|
|
|
Anrxa
Member
Offline
Activity: 107
Merit: 10
|
|
June 29, 2018, 04:58:50 PM |
|
Как уже выше ответили парсить можно чем угодно, главное регулярки или удобные фреймворки. Node.js мне например нравится тем, что он асинхронен. Парсить в несколько потоков как по мне удобнее указывая concurrency у промисов нежели руками создавать потоки в синхронных языках.
|
|
|
|
fxpc
Sr. Member
Offline
Activity: 1316
Merit: 420
KTO EC/\U HUKTO?
|
|
June 29, 2018, 05:41:35 PM |
|
Все кто тебе здесь ответил - первый раз слышат слово парсинг и тем более в этом не шарят да и ты сам не шиша не шаришь раз так вопрос ставишь
Доброго времени суток! А как надо ставить вопрос? И чем плох nodejs с модулем puppetteer? Если Вы в этом разбираетесь может просветите? Не обращайте внимания это бот-флудер. Его высер подойдет к любой теме с вопросом. Кстати, можете заработать мерит от модератора если будете искать таких долбоебов и репортить на них. Чё-то мне нихуа не накидывают мерита.
|
|
|
|
mig38
Newbie
Offline
Activity: 46
Merit: 0
|
|
July 09, 2018, 07:25:28 AM |
|
Тоже через пыху парсил. Работаю в конторе, которая парсит с ~6000 сайтов интернет-магазинов товары для последующей выгрузки в соц сети типа вк, ок и в файлы эксель, цсв
а зачем чужие товары с чужих магазинов выкладывать в свой ВК ?
|
|
|
|
Jaga-Jaga
|
|
July 09, 2018, 01:57:35 PM |
|
Всем спасибо за советы. В итоге написал парсер на VBA Excel, неделя на изучение, 3 недели на написание кода. Самый большой плюс VBA Excel это не нужно заморачиваться с базами данных, когда нужно что то быстро написать на "коленке" и структурировать информацию, тем более что Excel хорошо знаю, но не был знаком с VBA. Парсинг немного тормознутый, но недавно узнал что есть поддержка selenium. Для более серьезного парсинга, надо будет изучать что то посерьезней.
IMHO, в общем случае более целесообразно парсить и сохранять в базу данных, а не в Excel.
|
|
|
|
#Cryptoman
Member
Offline
Activity: 980
Merit: 48
|
|
July 11, 2018, 10:51:49 AM |
|
Тоже через пыху парсил. Работаю в конторе, которая парсит с ~6000 сайтов интернет-магазинов товары для последующей выгрузки в соц сети типа вк, ок и в файлы эксель, цсв
а зачем чужие товары с чужих магазинов выкладывать в свой ВК ? В линках на товар, если есть рефки, разница между диллером и тобой идет тебе в карман. И порой чистая прибыль может составлять миллионы рублей за месяц.
|
https://indx.ru криптобиржа от вебмоней, не воруют, не требуют доказательств происхождения средств.
|
|
|
thereader
Member
Offline
Activity: 278
Merit: 15
|
|
August 06, 2018, 12:20:33 PM |
|
У меня для поверхностного изучения языка, чтобы уже начать писать что-то полезное, обычно уходит около месяца. Лучше подучу язык, сам напишу, тем более что возможно придется что-то постоянно дописывать, плюс получу полезный навык.
Чувак, если ты это сделаешь, то дай знать. Я тоже такой хочу - есть парочка идей.
|
|
|
|
#Cryptoman
Member
Offline
Activity: 980
Merit: 48
|
|
August 07, 2018, 04:57:04 AM |
|
Чувак, если ты это сделаешь, то дай знать. Я тоже такой хочу - есть парочка идей.
Что он сделает? Пиши свои идеи.
|
https://indx.ru криптобиржа от вебмоней, не воруют, не требуют доказательств происхождения средств.
|
|
|
thereader
Member
Offline
Activity: 278
Merit: 15
|
|
August 07, 2018, 12:02:20 PM |
|
Что он сделает? Пиши свои идеи.
Давно хочу приложение на мобайл с форумом. Адаптивное. Например. Или отслеживание постов, набирающих тренд.
|
|
|
|
peter_walstein
Newbie
Offline
Activity: 1
Merit: 0
|
|
July 24, 2019, 10:29:00 PM |
|
Если нужно по мелочи сделать - сделаю. Опыт в парсинге огромен.
Ищем народ на парсинг различных источников, оплата сдельная, либо возможно постоянная. peter_walstein@protonmail.com
|
|
|
|
TechPriest
Sr. Member
Offline
Activity: 377
Merit: 282
Finis coronat opus
|
|
July 26, 2019, 11:15:03 AM |
|
Может у кого есть опыт парсинга подобно этому форуму, ибо сам форум далеко не совершенен для отслеживания нужной информации. Какой язык программирования можете порекомендовать для этих целей? Понятно дело что практически любой язык может это делать, но делать это быстро и удобно не всякий.
Я давно еще писал парсер новых тем, по баунти. Я писал на Шарпе, проблем не возникало. Серверную часть делал на Питоне. Форум довольно простой, думаю любой язык подойдет.
|
In science we trust!
|
|
|
andy_pelevin
Legendary
Offline
Activity: 2262
Merit: 1144
Altcoinlog
|
|
July 26, 2019, 05:58:15 PM |
|
....
Я давно еще писал парсер новых тем, по баунти. Я писал на Шарпе, проблем не возникало. Серверную часть делал на Питоне.
Форум довольно простой, думаю любой язык подойдет.
Делать парсер новых тем на БТТ нет необходимости. Достаточно оформить подписку и сообщения о новых темах будут автоматом отправляться на вашу почту. В правом вернем углу есть строчка команд " new topic | post new poll | mark read | notify " Достаточно нажать на " notify " и Вы в курсе всех новых тем.
|
|
|
|
TechPriest
Sr. Member
Offline
Activity: 377
Merit: 282
Finis coronat opus
|
|
July 31, 2019, 06:04:02 AM |
|
Делать парсер новых тем на БТТ нет необходимости. Достаточно оформить подписку и сообщения о новых темах будут автоматом отправляться на вашу почту. В правом вернем углу есть строчка команд " new topic | post new poll | mark read | notify " Достаточно нажать на " notify " и Вы в курсе всех новых тем.
Благодарю за помощь, но проблема в том, что через мейл нужно и страницу с мылом держать открытой, обновлять ее постоянно, да и телефона хорошего для оповещения тогда не имел. А бот раз два, и прислал уведомление на компьютер. И быстродействие у него повыше, я ведь пробовал и ваш вариант.
|
In science we trust!
|
|
|
andy_pelevin
Legendary
Offline
Activity: 2262
Merit: 1144
Altcoinlog
|
|
August 05, 2019, 07:10:40 AM |
|
..... проблема в том, что через мейл нужно и страницу с мылом держать открытой, обновлять ее постоянно,....
И эта задачка тоже легко решается,... Существует много расширений для браузеров, которые мониторят почту. Я, к примеру, пользуюсь "Checker Plus for Gmail", но есть и другие...
|
|
|
|
TechPriest
Sr. Member
Offline
Activity: 377
Merit: 282
Finis coronat opus
|
|
September 16, 2019, 06:54:23 PM |
|
..... проблема в том, что через мейл нужно и страницу с мылом держать открытой, обновлять ее постоянно,....
И эта задачка тоже легко решается,... Существует много расширений для браузеров, которые мониторят почту. Я, к примеру, пользуюсь "Checker Plus for Gmail", но есть и другие... Расширениям не очень доверяю, кто его знает что туда записали девы. Проще написать свой небольшой скрипт, загрузить на свой сервер и быть спокойным.
|
In science we trust!
|
|
|
RuBro
Jr. Member
Offline
Activity: 71
Merit: 3
|
|
September 17, 2019, 03:22:33 AM |
|
С парсерами и постерами вы ошиблись форумом, юзайте более профильный форум с готовыми решениями https://zennolab.com
|
|
|
|
|