Bitcoin Forum
October 14, 2019, 09:24:59 AM *
News: Latest Bitcoin Core release: 0.18.1 [Torrent]
 
   Home   Help Search Login Register More  
Pages: [1] 2 »  All
  Print  
Author Topic: Как парсить данные с гугл таблиц  (Read 514 times)
LiluSG
Full Member
***
Offline Offline

Activity: 588
Merit: 196


View Profile
March 20, 2018, 12:58:47 AM
Last edit: September 05, 2018, 01:15:24 AM by LiluSG
Merited by nazgulnarsil (2), cryptolord2077 (2), BTalarmus (2), klarki (1), Yury1 (1), xarly1 (1)
 #1

Всем привет Smiley
Продолжу свои начинания о таблицах и поделюсь ещё одной фишечкой, которую для себя недавно открыл.
Прошлая история нашла некоторый отклик и была полезна, хоть и не массово - https://bitcointalk.org/index.php?topic=2867672.0

В этой раз я расскажу про гугл таблицы, как парсить данные в них, с чужих таблиц (или со своих в том числе)
Оказалось всё просто и удобно, более того она имеет реал-тайм обновление, что весьма удобно

Зачем это нужно?
- Во-первых, можно разные данные собрать в одной таблице. Это может касаться баунти-spreadsheets, например. Или баунти списков, которых сейчас появляется много
- Во-вторых, вы можете, как минимум красить ячейки, ставить метки. Это удобно, если вы следите за 8–10 десятками строчек или онлайн страниц
- В-третьих, при подключении доп функций и настроек, можно быстро оперировать данными, фильтровать их под себя
- И последнее. Это может быть рабочий, информационный элемент сложных таблиц, в которых ведут баунти, со всеми ссылками и работой

Как и в прошлый раз, весь процесс разложен в картинках и пояснениях к ним







Как видите, всё оказалось просто и удобно. Спасибо за внимание Wink
Статья так же продублирована на steemit и medium в поддержку блог-начинаниям, так что буду рад
https://steemit.com/@lilusg
https://medium.com/@SergeyL
1571045099
Hero Member
*
Offline Offline

Posts: 1571045099

View Profile Personal Message (Offline)

Ignore
1571045099
Reply with quote  #2

1571045099
Report to moderator
1571045099
Hero Member
*
Offline Offline

Posts: 1571045099

View Profile Personal Message (Offline)

Ignore
1571045099
Reply with quote  #2

1571045099
Report to moderator
Advertised sites are not endorsed by the Bitcoin Forum. They may be unsafe, untrustworthy, or illegal in your jurisdiction. Advertise here.
Telepat
Newbie
*
Offline Offline

Activity: 252
Merit: 0


View Profile
March 20, 2018, 03:57:59 AM
 #2

Строка в моей таблице обновляется, если обновляется строка в таблице исходной, я правильно понял?
LiluSG
Full Member
***
Offline Offline

Activity: 588
Merit: 196


View Profile
March 20, 2018, 10:17:12 AM
 #3

Строка в моей таблице обновляется, если обновляется строка в таблице исходной, я правильно понял?

Да, всё правильно. Все данные у вас обновляются в то же время, что и в таблицах с которых мы тянем "слепок"
Tuareg33rus
Jr. Member
*
Offline Offline

Activity: 84
Merit: 2


View Profile
March 20, 2018, 05:59:14 PM
 #4

Век живи - век учись. Спасибо что поделились! Ушло  закладки.

Вам скоро можно будет "подшивку" топиков с рецептами делать.

▬▬▬▬▬▬▬[ ❍  X A T R A  ❍ ]▬▬▬▬▬▬
【 The New Crypto Currency Revolution 】
gimpo
Member
**
Offline Offline

Activity: 252
Merit: 24


View Profile
March 20, 2018, 06:24:34 PM
 #5

Способ работает прямо для совсем любой таблицы? Как насчет таблиц в которых запрещен экспорт или они представлены в html виде?
Danny94
Newbie
*
Offline Offline

Activity: 176
Merit: 0


View Profile
March 20, 2018, 06:26:20 PM
 #6

Спасибо за инфу! Cool
LiluSG
Full Member
***
Offline Offline

Activity: 588
Merit: 196


View Profile
March 20, 2018, 09:06:46 PM
 #7

Век живи - век учись. Спасибо что поделились! Ушло  закладки.

Вам скоро можно будет "подшивку" топиков с рецептами делать.

Спасибо Smiley До подшивки конечно рано, я просто рассказываю о своих рабочих находках, но их не так и много)


Способ работает прямо для совсем любой таблицы? Как насчет таблиц в которых запрещен экспорт или они представлены в html виде?

Можете дать ссылку на любую такую таблицу? Глянем, что там
Скорей всего, действия аналогичны, просто функция будет, аля "=IMPORTHTML", которая так же есть в гугл таблицах
gimpo
Member
**
Offline Offline

Activity: 252
Merit: 24


View Profile
March 21, 2018, 05:35:15 PM
 #8

Способ работает прямо для совсем любой таблицы? Как насчет таблиц в которых запрещен экспорт или они представлены в html виде?

Можете дать ссылку на любую такую таблицу? Глянем, что там
Скорей всего, действия аналогичны, просто функция будет, аля "=IMPORTHTML", которая так же есть в гугл таблицах

Так во всех или большинстве таблиц баунти экспорт запрещен, вот пример https://docs.google.com/spreadsheets/d/1i0L4_Unvkivsa9Bu9LHSvAoNAQR1pA0wosY7z575CSE/edit#gid=2012223782
По логике ваш способ работать в них не должен, иначе это баг со стороны гугла. Спросил чиста из интереса, так гугло таблицами не пользуюсь и парсить их мне не требуется.
Вот пример таблицы в HTML виде https://docs.google.com/spreadsheets/d/e/2PACX-1vS_H7bVbyEgT4kVJ49iOj4_uBLEtaK1LTT-CzwaB65rkaOXrFeFR05rth-HkNLZ2tJy27p35Qo26c0z/pubhtml

Mr.Midas
Jr. Member
*
Offline Offline

Activity: 238
Merit: 4

B~>$ ┐(︶▽︶)┌


View Profile
March 21, 2018, 06:06:54 PM
 #9

т.е. если я откуда то стянул что то себе в таблицу, то у меня инфа обновится в моей самостоятельно, как только ее изменят там откуда я ее утянул? если так то это очень даже полезненько получается.

OAX - BRIDGE TO TRADITIONAL FINANCE WORLD
OAX - INTEGRATION OF CRYPTOCURRENCY MARKET
■ oax.org ■ bit.ly/BttANN ■ bit.ly/ActiveBounty ■
LiluSG
Full Member
***
Offline Offline

Activity: 588
Merit: 196


View Profile
March 21, 2018, 09:37:28 PM
 #10


Так во всех или большинстве таблиц баунти экспорт запрещен, вот пример https://docs.google.com/spreadsheets/d/1i0L4_Unvkivsa9Bu9LHSvAoNAQR1pA0wosY7z575CSE/edit#gid=2012223782
По логике ваш способ работать в них не должен, иначе это баг со стороны гугла. Спросил чиста из интереса, так гугло таблицами не пользуюсь и парсить их мне не требуется.
Вот пример таблицы в HTML виде https://docs.google.com/spreadsheets/d/e/2PACX-1vS_H7bVbyEgT4kVJ49iOj4_uBLEtaK1LTT-CzwaB65rkaOXrFeFR05rth-HkNLZ2tJy27p35Qo26c0z/pubhtml



Это не совсем экспорт прям, скорей это онлайн-слепок. Т.е. если мы можем открыть таблицу по ссылке, то мы можем взять с неё данные)
Вот с закрытой, спокойно спарсились данные - https://c2n.me/3SPNvXV
По html пока не нашёл способ, надо разбираться, сходу не получилось утянуть, пишет что пытаюсь вытянуть большой объём данных, но это точно куда-то в сторону importhtml )


т.е. если я откуда то стянул что то себе в таблицу, то у меня инфа обновится в моей самостоятельно, как только ее изменят там откуда я ее утянул? если так то это очень даже полезненько получается.

Да, всё правильно, она будет обновляться автоматически. Более того помимо того что вы можете красить ячейки, вы можете скрывать строчки или столбцы. Данные будут писаться новыми строчками, а скрытые вы не будете видеть
gimpo
Member
**
Offline Offline

Activity: 252
Merit: 24


View Profile
March 22, 2018, 08:11:27 PM
 #11

Это не совсем экспорт прям, скорей это онлайн-слепок. Т.е. если мы можем открыть таблицу по ссылке, то мы можем взять с неё данные)
Вот с закрытой, спокойно спарсились данные - https://c2n.me/3SPNvXV
По html пока не нашёл способ, надо разбираться, сходу не получилось утянуть, пишет что пытаюсь вытянуть большой объём данных, но это точно куда-то в сторону importhtml )

Не совсем так. Попробуйте у такой таблицы выделить ячейки и скопировать их, у вас ничего не получится и получите предупреждение, что это запрещено. Там пишет, что даже распечатать нельзя. Копировать можно только по одной ячейке, если выделить ее и скопировать ее содержимое из строки формул.
То что вы предлагаете это и есть самый настоящий экспорт, только он при этом сохраняет связь с исходной таблицей. Поэтому на мой взгляд это баг со стороны гугл, раз он позволяет утягивать данные из таких таблиц.
LiluSG
Full Member
***
Offline Offline

Activity: 588
Merit: 196


View Profile
March 25, 2018, 08:32:24 PM
 #12

Не совсем так. Попробуйте у такой таблицы выделить ячейки и скопировать их, у вас ничего не получится и получите предупреждение, что это запрещено. Там пишет, что даже распечатать нельзя. Копировать можно только по одной ячейке, если выделить ее и скопировать ее содержимое из строки формул.
То что вы предлагаете это и есть самый настоящий экспорт, только он при этом сохраняет связь с исходной таблицей. Поэтому на мой взгляд это баг со стороны гугл, раз он позволяет утягивать данные из таких таблиц.

Возможно и баг, в любом случае что не запрещено, то можно юзать Roll Eyes
Даже если это и прям экплойт, он всё равно не критичный, так как влиять на таблицу мы не можем, а значит ничего страшного Smiley
mambA98427
Newbie
*
Offline Offline

Activity: 196
Merit: 0


View Profile
March 25, 2018, 09:31:02 PM
 #13

Можно попробовать зенкой спарсить или BAS(бесплатный аналог)
ivanpavluk9999
Newbie
*
Offline Offline

Activity: 54
Merit: 0


View Profile WWW
March 26, 2018, 08:47:41 PM
 #14

Очень удобно и информативно, спасибо за труд! Как я понимаю, теперь я могу скопировать любую таблицу с баунти (которую ведет мой наставник например) в свое владение и распоряжение, и синхронизировать ихHuh Наставник будет менять условия, следить за изменениями и вносить правки в свою таблицу, и изменения будут происходить в моей личной копииHuh Это круто! 
LiluSG
Full Member
***
Offline Offline

Activity: 588
Merit: 196


View Profile
March 26, 2018, 09:13:40 PM
 #15

Очень удобно и информативно, спасибо за труд! Как я понимаю, теперь я могу скопировать любую таблицу с баунти (которую ведет мой наставник например) в свое владение и распоряжение, и синхронизировать ихHuh Наставник будет менять условия, следить за изменениями и вносить правки в свою таблицу, и изменения будут происходить в моей личной копииHuh Это круто! 

Да, это как один из вариантов Smiley
Удобно ещё, когда сводишь много источников, в одно место
telnova5331
Member
**
Offline Offline

Activity: 280
Merit: 11


View Profile
March 26, 2018, 09:28:14 PM
 #16

Сделала себе табличку , туда внесла все баунти компании в которых участвую, очень удобно зайти в 1 раз вдень и про мониторить все сразу , данный мануал уже находила на просторах интернета ,
А так очень развернуто,  Автору гц

Zedxxx
Member
**
Offline Offline

Activity: 364
Merit: 21


View Profile
April 01, 2018, 05:23:27 PM
 #17

А как спарсить данные из таблицы get запросом? У меня постоянно выдаёт ошибку permissoins denied.
LiluSG
Full Member
***
Offline Offline

Activity: 588
Merit: 196


View Profile
April 11, 2018, 09:10:25 PM
 #18

Апну тему, может кто новый увидит и будет полезно Smiley
bratuha
Full Member
***
Offline Offline

Activity: 420
Merit: 100


BRINGING MAGIC TO THE TELECOM INDUSTRY


View Profile
April 28, 2018, 05:40:15 PM
 #19


https://docs.google.com/spreadsheets/d/e/2PACX-1vQ173fZ281f4UOTjyHWTZ0gHPbY8fRMj2kqIZTxs-PANZ9d1MZ8CAgJmBMaFPm5AfYWGAEva2zoE9KS/pubhtml
А с этой таблицей как быть, мб знаешь, а то использовал все способы и не чего не получилось

M!R△CLE TELE     BRINGING MAGIC TO THE TELECOM INDUSTRY     JOIN US NOW!
▐▐   40% Biweekly Rewards     ▬▬▬   Calls at €0.2   ▬▬▬     Traffic from €0.01 worldwide   ▌▌
▬▬▬▬▬▬   ANN  Lightpaper  Bounty  Facebook  Twitter  Telegram   ▬▬▬▬▬▬
LiluSG
Full Member
***
Offline Offline

Activity: 588
Merit: 196


View Profile
April 28, 2018, 10:51:29 PM
 #20


https://docs.google.com/spreadsheets/d/e/2PACX-1vQ173fZ281f4UOTjyHWTZ0gHPbY8fRMj2kqIZTxs-PANZ9d1MZ8CAgJmBMaFPm5AfYWGAEva2zoE9KS/pubhtml
А с этой таблицей как быть, мб знаешь, а то использовал все способы и не чего не получилось

Там другая чуть функция, но принцип почти тот же. Твоя строчка должна выглядеть так:
=IMPORTHTML("https://docs.google.com/spreadsheets/d/e/2PACX-1vQ173fZ281f4UOTjyHWTZ0gHPbY8fRMj2kqIZTxs-PANZ9d1MZ8CAgJmBMaFPm5AfYWGAEva2zoE9KS/pubhtml#"; "table"; 2)

Где идёт название функция, далее именно полная ссылка на html страницу, table говорит о том что ты копируешь таблицу и в конце номер листа. У нас например это твиттер


Как парсить с html одну строчку к себе, я сходу не знаю, это нужно посмотреть. Скорей всего, что-то на этот счёт, да есть
Но точно можно спарсить весь лист в гугл таблицу и с него уже снять нужную строчку себе отдельно в другую таблицу классически "через координаты". Либо скрыть лишние строчки в спаресенной странице
Pages: [1] 2 »  All
  Print  
 
Jump to:  

Sponsored by , a Bitcoin-accepting VPN.
Powered by MySQL Powered by PHP Powered by SMF 1.1.19 | SMF © 2006-2009, Simple Machines Valid XHTML 1.0! Valid CSS!