Bitcoin Forum

Local => Бayнти и aиpдpoпы => Topic started by: LiluSG on March 20, 2018, 12:58:47 AM



Title: Как парсить данные с гугл таблиц
Post by: LiluSG on March 20, 2018, 12:58:47 AM
Всем привет :)
Продолжу свои начинания о таблицах и поделюсь ещё одной фишечкой, которую для себя недавно открыл.
Прошлая история нашла некоторый отклик и была полезна, хоть и не массово - https://bitcointalk.org/index.php?topic=2867672.0 (https://bitcointalk.org/index.php?topic=2867672.0)

В этой раз я расскажу про гугл таблицы, как парсить данные в них, с чужих таблиц (или со своих в том числе)
Оказалось всё просто и удобно, более того она имеет реал-тайм обновление, что весьма удобно

Зачем это нужно?
- Во-первых, можно разные данные собрать в одной таблице. Это может касаться баунти-spreadsheets, например. Или баунти списков, которых сейчас появляется много
- Во-вторых, вы можете, как минимум красить ячейки, ставить метки. Это удобно, если вы следите за 8–10 десятками строчек или онлайн страниц
- В-третьих, при подключении доп функций и настроек, можно быстро оперировать данными, фильтровать их под себя
- И последнее. Это может быть рабочий, информационный элемент сложных таблиц, в которых ведут баунти, со всеми ссылками и работой

Как и в прошлый раз, весь процесс разложен в картинках и пояснениях к ним


https://cdn-images-1.medium.com/max/1600/1*Wj7OwCXZhNMrf5E4yrJEeA.jpeg

https://cdn-images-1.medium.com/max/1600/1*sbhlj-rsX4bwYuo9-X22CA.jpeg


Как видите, всё оказалось просто и удобно. Спасибо за внимание ;)
Статья так же продублирована на steemit и medium в поддержку блог-начинаниям, так что буду рад
https://steemit.com/@lilusg
https://medium.com/@SergeyL


Title: Re: Как парсить данные с гугл таблиц
Post by: Telepat on March 20, 2018, 03:57:59 AM
Строка в моей таблице обновляется, если обновляется строка в таблице исходной, я правильно понял?


Title: Re: Как парсить данные с гугл таблиц
Post by: LiluSG on March 20, 2018, 10:17:12 AM
Строка в моей таблице обновляется, если обновляется строка в таблице исходной, я правильно понял?

Да, всё правильно. Все данные у вас обновляются в то же время, что и в таблицах с которых мы тянем "слепок"


Title: Re: Как парсить данные с гугл таблиц
Post by: Tuareg33rus on March 20, 2018, 05:59:14 PM
Век живи - век учись. Спасибо что поделились! Ушло  закладки.

Вам скоро можно будет "подшивку" топиков с рецептами делать.


Title: Re: Как парсить данные с гугл таблиц
Post by: gimpo on March 20, 2018, 06:24:34 PM
Способ работает прямо для совсем любой таблицы? Как насчет таблиц в которых запрещен экспорт или они представлены в html виде?


Title: Re: Как парсить данные с гугл таблиц
Post by: LiluSG on March 20, 2018, 09:06:46 PM
Век живи - век учись. Спасибо что поделились! Ушло  закладки.

Вам скоро можно будет "подшивку" топиков с рецептами делать.

Спасибо :) До подшивки конечно рано, я просто рассказываю о своих рабочих находках, но их не так и много)


Способ работает прямо для совсем любой таблицы? Как насчет таблиц в которых запрещен экспорт или они представлены в html виде?

Можете дать ссылку на любую такую таблицу? Глянем, что там
Скорей всего, действия аналогичны, просто функция будет, аля "=IMPORTHTML", которая так же есть в гугл таблицах


Title: Re: Как парсить данные с гугл таблиц
Post by: gimpo on March 21, 2018, 05:35:15 PM
Способ работает прямо для совсем любой таблицы? Как насчет таблиц в которых запрещен экспорт или они представлены в html виде?

Можете дать ссылку на любую такую таблицу? Глянем, что там
Скорей всего, действия аналогичны, просто функция будет, аля "=IMPORTHTML", которая так же есть в гугл таблицах

Так во всех или большинстве таблиц баунти экспорт запрещен, вот пример https://docs.google.com/spreadsheets/d/1i0L4_Unvkivsa9Bu9LHSvAoNAQR1pA0wosY7z575CSE/edit#gid=2012223782
По логике ваш способ работать в них не должен, иначе это баг со стороны гугла. Спросил чиста из интереса, так гугло таблицами не пользуюсь и парсить их мне не требуется.
Вот пример таблицы в HTML виде https://docs.google.com/spreadsheets/d/e/2PACX-1vS_H7bVbyEgT4kVJ49iOj4_uBLEtaK1LTT-CzwaB65rkaOXrFeFR05rth-HkNLZ2tJy27p35Qo26c0z/pubhtml



Title: Re: Как парсить данные с гугл таблиц
Post by: Mr.Midas on March 21, 2018, 06:06:54 PM
т.е. если я откуда то стянул что то себе в таблицу, то у меня инфа обновится в моей самостоятельно, как только ее изменят там откуда я ее утянул? если так то это очень даже полезненько получается.


Title: Re: Как парсить данные с гугл таблиц
Post by: LiluSG on March 21, 2018, 09:37:28 PM

Так во всех или большинстве таблиц баунти экспорт запрещен, вот пример https://docs.google.com/spreadsheets/d/1i0L4_Unvkivsa9Bu9LHSvAoNAQR1pA0wosY7z575CSE/edit#gid=2012223782
По логике ваш способ работать в них не должен, иначе это баг со стороны гугла. Спросил чиста из интереса, так гугло таблицами не пользуюсь и парсить их мне не требуется.
Вот пример таблицы в HTML виде https://docs.google.com/spreadsheets/d/e/2PACX-1vS_H7bVbyEgT4kVJ49iOj4_uBLEtaK1LTT-CzwaB65rkaOXrFeFR05rth-HkNLZ2tJy27p35Qo26c0z/pubhtml



Это не совсем экспорт прям, скорей это онлайн-слепок. Т.е. если мы можем открыть таблицу по ссылке, то мы можем взять с неё данные)
Вот с закрытой, спокойно спарсились данные - https://c2n.me/3SPNvXV
По html пока не нашёл способ, надо разбираться, сходу не получилось утянуть, пишет что пытаюсь вытянуть большой объём данных, но это точно куда-то в сторону importhtml )


т.е. если я откуда то стянул что то себе в таблицу, то у меня инфа обновится в моей самостоятельно, как только ее изменят там откуда я ее утянул? если так то это очень даже полезненько получается.

Да, всё правильно, она будет обновляться автоматически. Более того помимо того что вы можете красить ячейки, вы можете скрывать строчки или столбцы. Данные будут писаться новыми строчками, а скрытые вы не будете видеть


Title: Re: Как парсить данные с гугл таблиц
Post by: gimpo on March 22, 2018, 08:11:27 PM
Это не совсем экспорт прям, скорей это онлайн-слепок. Т.е. если мы можем открыть таблицу по ссылке, то мы можем взять с неё данные)
Вот с закрытой, спокойно спарсились данные - https://c2n.me/3SPNvXV
По html пока не нашёл способ, надо разбираться, сходу не получилось утянуть, пишет что пытаюсь вытянуть большой объём данных, но это точно куда-то в сторону importhtml )

Не совсем так. Попробуйте у такой таблицы выделить ячейки и скопировать их, у вас ничего не получится и получите предупреждение, что это запрещено. Там пишет, что даже распечатать нельзя. Копировать можно только по одной ячейке, если выделить ее и скопировать ее содержимое из строки формул.
То что вы предлагаете это и есть самый настоящий экспорт, только он при этом сохраняет связь с исходной таблицей. Поэтому на мой взгляд это баг со стороны гугл, раз он позволяет утягивать данные из таких таблиц.


Title: Re: Как парсить данные с гугл таблиц
Post by: LiluSG on March 25, 2018, 08:32:24 PM
Не совсем так. Попробуйте у такой таблицы выделить ячейки и скопировать их, у вас ничего не получится и получите предупреждение, что это запрещено. Там пишет, что даже распечатать нельзя. Копировать можно только по одной ячейке, если выделить ее и скопировать ее содержимое из строки формул.
То что вы предлагаете это и есть самый настоящий экспорт, только он при этом сохраняет связь с исходной таблицей. Поэтому на мой взгляд это баг со стороны гугл, раз он позволяет утягивать данные из таких таблиц.

Возможно и баг, в любом случае что не запрещено, то можно юзать ::)
Даже если это и прям экплойт, он всё равно не критичный, так как влиять на таблицу мы не можем, а значит ничего страшного :)


Title: Re: Как парсить данные с гугл таблиц
Post by: mambA98427 on March 25, 2018, 09:31:02 PM
Можно попробовать зенкой спарсить или BAS(бесплатный аналог)


Title: Re: Как парсить данные с гугл таблиц
Post by: ivanpavluk9999 on March 26, 2018, 08:47:41 PM
Очень удобно и информативно, спасибо за труд! Как я понимаю, теперь я могу скопировать любую таблицу с баунти (которую ведет мой наставник например) в свое владение и распоряжение, и синхронизировать их??? Наставник будет менять условия, следить за изменениями и вносить правки в свою таблицу, и изменения будут происходить в моей личной копии??? Это круто! 


Title: Re: Как парсить данные с гугл таблиц
Post by: LiluSG on March 26, 2018, 09:13:40 PM
Очень удобно и информативно, спасибо за труд! Как я понимаю, теперь я могу скопировать любую таблицу с баунти (которую ведет мой наставник например) в свое владение и распоряжение, и синхронизировать их??? Наставник будет менять условия, следить за изменениями и вносить правки в свою таблицу, и изменения будут происходить в моей личной копии??? Это круто! 

Да, это как один из вариантов :)
Удобно ещё, когда сводишь много источников, в одно место


Title: Re: Как парсить данные с гугл таблиц
Post by: telnova5331 on March 26, 2018, 09:28:14 PM
Сделала себе табличку , туда внесла все баунти компании в которых участвую, очень удобно зайти в 1 раз вдень и про мониторить все сразу , данный мануал уже находила на просторах интернета ,
А так очень развернуто,  Автору гц


Title: Re: Как парсить данные с гугл таблиц
Post by: Zedxxx on April 01, 2018, 05:23:27 PM
А как спарсить данные из таблицы get запросом? У меня постоянно выдаёт ошибку permissoins denied.


Title: Re: Как парсить данные с гугл таблиц
Post by: bratuha on April 28, 2018, 05:40:15 PM

https://docs.google.com/spreadsheets/d/e/2PACX-1vQ173fZ281f4UOTjyHWTZ0gHPbY8fRMj2kqIZTxs-PANZ9d1MZ8CAgJmBMaFPm5AfYWGAEva2zoE9KS/pubhtml
А с этой таблицей как быть, мб знаешь, а то использовал все способы и не чего не получилось


Title: Re: Как парсить данные с гугл таблиц
Post by: LiluSG on April 28, 2018, 10:51:29 PM

https://docs.google.com/spreadsheets/d/e/2PACX-1vQ173fZ281f4UOTjyHWTZ0gHPbY8fRMj2kqIZTxs-PANZ9d1MZ8CAgJmBMaFPm5AfYWGAEva2zoE9KS/pubhtml
А с этой таблицей как быть, мб знаешь, а то использовал все способы и не чего не получилось

Там другая чуть функция, но принцип почти тот же. Твоя строчка должна выглядеть так:
=IMPORTHTML("https://docs.google.com/spreadsheets/d/e/2PACX-1vQ173fZ281f4UOTjyHWTZ0gHPbY8fRMj2kqIZTxs-PANZ9d1MZ8CAgJmBMaFPm5AfYWGAEva2zoE9KS/pubhtml#"; "table"; 2)

Где идёт название функция, далее именно полная ссылка на html страницу, table говорит о том что ты копируешь таблицу и в конце номер листа. У нас например это твиттер


Как парсить с html одну строчку к себе, я сходу не знаю, это нужно посмотреть. Скорей всего, что-то на этот счёт, да есть
Но точно можно спарсить весь лист в гугл таблицу и с него уже снять нужную строчку себе отдельно в другую таблицу классически "через координаты". Либо скрыть лишние строчки в спаресенной странице


Title: Re: Как парсить данные с гугл таблиц
Post by: Yury1 on June 21, 2018, 07:20:11 AM
Случайно наткнулся на этот топик и оказалось, что как раз инфу по этой теме я и искал. Спасибо автору топика за напряги при аккумулировании инфы по этой теме.