Bitcoin Forum

Может у кого есть опыт парсинга подобно этому форуму,  ибо сам форум далеко не совершенен для отслеживания нужной информации. Какой язык программирования можете порекомендовать для этих целей? Понятно дело что практически любой язык может это делать, но делать это быстро и удобно не всякий.

Удобнее всего nodejs с модулем puppetteer.

Любой, какой вы знаете. Ну и изучение языка программирования занимает некоторое время (от нескольких месяцев, лет, вся жизнь), возможно проще заказать парсер...

python фреймворки scrapy, grab. Но если вам просто мониторить пару веток то достаточно воспользоваться готовыми сервисами

Спасибо за наводку, поверхностно посмотрел, хорошая вещь. Но для начала надо подучить JavaScript, потом NodeJS и только потом puppetteer. Что ж, будем учить)

У меня для поверхностного изучения языка, чтобы уже начать писать что-то полезное, обычно уходит около месяца. Лучше подучу язык, сам напишу, тем более что возможно придется что-то постоянно дописывать, плюс получу полезный навык.

Много слышал положительного о Питоне, не никогда не смотрел. Вот сейчас стоит делема JavaScript или Python ) Скорее всего JavaScript т.к. puppetteer заточен на управление браузером, соответственно можно автоматизировать кое-какие вещи, не знаю может ли Питон делать это так же хорошо.

Что бы парсить форум, ни управление браузером, ни сам браузер не нужен...

Все кто тебе здесь ответил - первый раз слышат слово парсинг и тем более в этом не шарят
да и ты сам не шиша не шаришь раз так вопрос ставишь

Если нужно по мелочи сделать - сделаю. Опыт в парсинге огромен.

Как-то делал сложный парсинг, это скан форума, с перекидыванием сообщений в другой форум, с сохранением бб тэгов и имен пользователей (префикс к именам добавлял). Более того, парсер отслеживал и свежие сообщения, и их тоже перекидывал.
Если задаться целью, можно спарсить и этот форум, в другой форум, будет полная копия. (это конечно сложно, но возможно)

Если с пхп знаком, научиться делать парсинг сайтов с несложной разметкой можно за один день.

Так же писал сканер книг, помнится было книг на жестком диске где-то на пол терабайта, сканер должен был по некоторым признакам найти автора книги, название книги, и обложку если есть, ну и если попался дубль, убрать его. Разметка была не одинаковой, была масса адаптаций сканера.

Парсить можно всё, включая сайты где автоподгрузка через аякс(например твиттер) запросы или "вебсокеты" (например вконтакте).

Парсить можно на любом языке, но выбирать лучше тот язык который используется в проекте чтобы сделать парсер модулем проекта. Если нужно для веб проекта то скорее всего вам больше подойдет PHP или Java.

Если нужна автоматизация, то для питона, да в принципе и для йавы есть selenium, недавно наткнулся, библиотека для тестеров, но возможна реализация автоматизации. Подскажите, если еще есть такого же рода библиотеки под пайтон, которыми удобнее пользоваться.

Тоже через пыху парсил. Работаю в конторе, которая парсит с ~6000 сайтов интернет-магазинов товары для последующей выгрузки в соц сети типа вк, ок и в файлы эксель, цсв

php или python. Вообще python для такой работы лучше всех подходит, но php легче в освоении

Питон легче в освоении на порядок :).

Мой набор для парсинга на никсах:python beautifulsoap, wget, curl, grep. Можно вообще без питона, только баш и последние три программы.

Расскажите писал кто нибудь ботов для парсинга?
И если писали то на чем писали JavaScript?

А второе сообщение в топике прочитать не але?

Я не уверен что Cloudflare даст просто так парсить большие объемы

А кто запрещает вам использовать прокси сервера и эмуляторы браузера с поддержками кук?

Клауд это маркетинговое говно для веб школоты.
Все что делает клауд это запускает при первом заходе простейший яваскрипт с таймером. Типо проверка, что заходит браузер, а не робот лол. Все остальные вызовы проходят через чутка допиленный нгинкс.

Всем спасибо за советы. В итоге написал парсер на VBA Excel, неделя на изучение, 3 недели на написание кода. Самый большой плюс VBA Excel это не нужно заморачиваться с базами данных, когда нужно что то быстро написать на "коленке" и структурировать информацию, тем более что Excel хорошо знаю, но не был знаком с VBA. Парсинг немного тормознутый, но недавно узнал что есть поддержка selenium. Для более серьезного парсинга, надо будет изучать что то посерьезней.

Изучай C#, сможешь парсить всё что угодно, там куча библиотек, часто нужны управляемые браузеры, чтобы кликнуть куда-то, чтобы popup открылся, или прокрутить вниз, чтобы страничка прогрузилась, там можно подключить несколько управляемых браузеров (тот же селениум есть на C#, мозилла, хромиум, он же хром, стандартный IE - на нём вообще свой рабочий браузер можно за 2 минуты наваять - я это на ютубе увидел, с тех пор дружу с C#, хотя я на GeckoFX лучше за 5 минут сделаю), конечно ещё лучше C или C++, это прям вообще круто, но мне вот лень их изучать, я C# знаю, там плюшек много слишком.

Доброго времени суток! А как надо ставить вопрос? И чем плох nodejs с модулем puppetteer? Если Вы в этом разбираетесь может просветите?

Не обращайте внимания это бот-флудер. Его высер подойдет к любой теме с вопросом.
Кстати, можете заработать мерит от модератора если будете искать таких долбоебов и репортить на них.

Как уже выше ответили парсить можно чем угодно, главное регулярки или удобные фреймворки.
Node.js мне например нравится тем, что он асинхронен. Парсить в несколько потоков как по мне удобнее указывая concurrency у промисов нежели руками создавать потоки в синхронных языках.

Чё-то мне нихуа не накидывают мерита. 8)

а зачем чужие товары с чужих магазинов выкладывать в свой ВК ?

IMHO, в общем случае более целесообразно парсить и сохранять в базу данных, а не в Excel.

В линках на товар, если есть рефки, разница между диллером и тобой идет тебе в карман.
И порой чистая прибыль может составлять миллионы рублей за месяц.

Чувак, если ты это сделаешь, то дай знать. Я тоже такой хочу - есть парочка идей.

Что он сделает? Пиши свои идеи.

Давно хочу приложение на мобайл с форумом. Адаптивное. Например. Или отслеживание постов, набирающих тренд. 

Ищем народ на парсинг различных источников, оплата сдельная, либо возможно постоянная.
peter_walstein@protonmail.com

Я давно еще писал парсер новых тем, по баунти. Я писал на Шарпе, проблем не возникало. Серверную часть делал на Питоне.

Форум довольно простой, думаю любой язык подойдет.

Делать парсер новых тем на БТТ нет необходимости. Достаточно оформить подписку и сообщения о новых темах будут автоматом отправляться на вашу почту.
В правом вернем углу есть строчка команд " new topic  |  post new poll  |  mark read  |  notify " Достаточно нажать на " notify " и Вы в курсе всех новых тем.

Благодарю за помощь, но проблема в том, что через мейл нужно и страницу с мылом держать открытой, обновлять ее постоянно, да и телефона хорошего для оповещения тогда не имел. А бот раз два, и прислал уведомление на компьютер. И быстродействие у него повыше, я ведь пробовал и ваш вариант.

И эта задачка тоже легко решается,... Существует много расширений для браузеров, которые мониторят почту.  Я, к примеру, пользуюсь "Checker Plus for Gmail", но есть и другие...

Расширениям не очень доверяю, кто его знает что туда записали девы. Проще написать свой небольшой скрипт, загрузить на свой сервер и быть спокойным.

С парсерами и постерами вы ошиблись форумом, юзайте более профильный форум с готовыми решениями https://zennolab.com (https://zennolab.com/discussion/forums/poleznye-stati-istorii-uspexa.154/)

За "зенку" надо платить,... Есть бесплатный софт с таким же функционалом, называется BrowserAutomationStudio. Вот их форум: https://community.bablosoft.com/category/7/browserautomationstudio

Может кому-нибудь нужно приложение парсинга сайта или сайтов - обращайтесь. Готова написать за небольшую сумму, ибо только получаю навыки и опыт в программировании.
Пишу на Джаве.
Также пишу несложные приложения на Андроид.

У одного легендарного ака с англ ветки видел в подписи разработанное неофициальное API форума с помощью которого можно получить различную инфу ники, айдшники, подпись да и вообще всю полную инфу по профилю единсвтенное, что написано оно на С# было поэтому не знаю на сколько будет удобно с ним работать

А чем С# неудобен  ??? Если только не консольное приложение - тогда просто неудобно.
А так просто парсятся страницы на любом языке программирования. Ничего сложного.

Наверное вы про это: https://bitcointalk.org/index.php?topic=154131.0
Очень оно старое. Точно не помню что там у меня было, но мне оно не подошло, пришлось писать свое приложение. Я делала парсинг последних созданных тем в разных ветках, в первую очередь для ветки Альткоины, что бы не пропустить новую монету для майнинга. А то там каждый день по 15-20 новых тем(иной раз и больше) создавалось и их быстро "угоняли" на следующие страницы, где они терялись и всплывали лишь тогда, когда монету уже поздно было майнить )