История курса биткойна

[SonkoDmitry]

Имею кое какой опыт в разработке АТС под метатрейдера, решил перенести знания на БТС. Встал вопрос ребком, нет адекватной истории курса. На http://bitcoincharts.com/about/markets-api/ можно получить срез по бирже с интервалами по 15 минут, это супер, только хотелось бы посмотреть как будет вести себя система на краткосрочных ордерах. Для этого надо и цену покупки и цену продажи. В файле, который можно снять по ссылке выше, только продажа. Быть может кто-нибудь сможет подсказать-помочь? Готов перегнать в любой формат, у себя система висит в MySQL. Сейчас бот парсит данные с бтс-е и мт.гокс. Интересую данные именно с бтс-е. буду очень, очень благодарен.

[AlexSG]

Дк, наверное лучше сразу напрямую к администрации btc-e и обратиться.

[naima53]

Имею кое какой опыт в разработке АТС под метатрейдера, решил перенести знания на БТС. Встал вопрос ребком, нет адекватной истории курса. На http://bitcoincharts.com/about/markets-api/ можно получить срез по бирже с интервалами по 15 минут, это супер, только хотелось бы посмотреть как будет вести себя система на краткосрочных ордерах. Для этого надо и цену покупки и цену продажи. В файле, который можно снять по ссылке выше, только продажа. Быть может кто-нибудь сможет подсказать-помочь? Готов перегнать в любой формат, у себя система висит в MySQL. Сейчас бот парсит данные с бтс-е и мт.гокс. Интересую данные именно с бтс-е. буду очень, очень благодарен.

Думаю, это файл mtgoxUSD.scid из папки "data" из SierraChart, могу свой дать (140мб) Это тот файл, который SierraChartFeed скачивает с гокса.
Вот "тот самый" момент в 2011г

Это оно?

[SonkoDmitry]

Дк, наверное лучше сразу напрямую к администрации btc-e и обратиться.

Ваша ирония тут не к чему. В данный момент тот-же бтс-е спокойно дает информацию по курсам через апи. вдруг кто-нибудь собирал таким-же образом данные как и я сейчас.

Имею кое какой опыт в разработке АТС под метатрейдера, решил перенести знания на БТС. Встал вопрос ребком, нет адекватной истории курса. На http://bitcoincharts.com/about/markets-api/ можно получить срез по бирже с интервалами по 15 минут, это супер, только хотелось бы посмотреть как будет вести себя система на краткосрочных ордерах. Для этого надо и цену покупки и цену продажи. В файле, который можно снять по ссылке выше, только продажа. Быть может кто-нибудь сможет подсказать-помочь? Готов перегнать в любой формат, у себя система висит в MySQL. Сейчас бот парсит данные с бтс-е и мт.гокс. Интересую данные именно с бтс-е. буду очень, очень благодарен.

Думаю, это файл mtgoxUSD.scid из папки "data" из SierraChart, могу свой дать (140мб) Это тот файл, который SierraChartFeed скачивает с гокса.
Вот "тот самый" момент в 2011г

Это оно?

https://i.imgur.com/7oMUWRB.jpg

можно попробовать. сможете залить куда-нибудь и кинуть ссылку в личку?

[SonkoDmitry]

Сейчас бот тянет с гокса и бтц-е по три цепочки обмена в онлайн режиме, это btc_usd, btc_eur, btc_rur.
Пока агрегирую все данные, позже буду старые архивировать и оставлять только за 10 минут, за час, за день.
Кому интересные подобные данные велком, всегда готов поделиться.

[legioner748]

Чем-то напоминает 2011 год, средину лета, когда также стремительно рос курс.

[SonkoDmitry]

Собственно что хотел сделать почти сделано. Начало положено бот собирает котировки с гокса и бтс-е. Стащил старые котировки с обеих бирж, но встал вопрос по спрэду. В истории с http://bitcoincharts.com/about/markets-api/ идет только таймстамп, цена продажи, и сумма. однако очень интересна еще цена покупки, как я понимаю спрэд нифига не фиксированный, откуда можно взять историю цен покупки?

[btcxorg]

Собственно что хотел сделать почти сделано. Начало положено бот собирает котировки с гокса и бтс-е. Стащил старые котировки с обеих бирж, но встал вопрос по спрэду. В истории с http://bitcoincharts.com/about/markets-api/ идет только таймстамп, цена продажи, и сумма. однако очень интересна еще цена покупки, как я понимаю спрэд нифига не фиксированный, откуда можно взять историю цен покупки?

я давно ищу ленту сделок бтц-е, вам ее удалось раздобыть?
для мтгокс АТС делать смысла нет, там лаги до нескольки часов доходят, бтц-е другое дело, со временем может и гокс исправится

[SonkoDmitry]

Собственно что хотел сделать почти сделано. Начало положено бот собирает котировки с гокса и бтс-е. Стащил старые котировки с обеих бирж, но встал вопрос по спрэду. В истории с http://bitcoincharts.com/about/markets-api/ идет только таймстамп, цена продажи, и сумма. однако очень интересна еще цена покупки, как я понимаю спрэд нифига не фиксированный, откуда можно взять историю цен покупки?

я давно ищу ленту сделок бтц-е, вам ее удалось раздобыть?
для мтгокс АТС делать смысла нет, там лаги до нескольки часов доходят, бтц-е другое дело, со временем может и гокс исправится

Имеете ввиду стакан сделок текущий или вообще историю ордеров? стакан доступен по апи вызову https://btc-e.com/api/2/btc_rur/depth а история (если я правильно понял, что это историю) по https://btc-e.com/api/2/btc_rur/trades
Если честно, пока не собирал их, но думаю через некоторое время надо будет

[btcxorg]

(если я правильно понял, что это историю) по https://btc-e.com/api/2/btc_rur/trades

но как ее вытянуть за весь период? мы не нашли, как там указывать желаемый диапазон

[SonkoDmitry]

(если я правильно понял, что это историю) по https://btc-e.com/api/2/btc_rur/trades

но как ее вытянуть за весь период? мы не нашли, как там указывать желаемый диапазон

историю видимо никак, только некий текущий стек, который соответственно можно парсить и сохранять. Меня информация об объемах пока не сильно волнует, а вот историю курса даже более. Одними аск-ами сыт не будешь. Было-бы круто конечно, если-бы владельцы биржи помогли с этим вопросом. Не так давно, они писали что заинтересованы в развитии АТС под их систему, только вот не отвечают они никак на вопросы

[rPman]

http://btccharts.com/
Занимаются сбором истории минимум год, и даже историю стакана (depth - списки спроса и предложения) пару месяцев, отображают на графике при наведении мышки. Только вот в сыром виде получить хз как, файлы в каком то своем бинарном формате, дизассемблировать флеш нет никакого желания.
p.s. Биржи похоже совсем не заинтересованы в предоставлении истории стакана, а ведь это очень важная информация, позволяет 'вывести на чистую воду' манипулятора.

Для конкретно mtgox больше года есть кто собирает данные по depth - https://bitcointalk.org/index.php?topic=88054.0 месяц назад я в привате с ним общался, купил у него за ~700р историю, огромные json логи к сожалению с интервалом в 15 минут и ошибке в коде записи (объемы ордеров округлены до целых частей, поэтому много нулей вместо 0.xxx).

Сам неоднократно пытался собирать данные websocket api, но у гокса он такой нестабильный, что непрерывные данные собрать не представляется возможным (api не предоставляет механизмов получить историю изменений с момента разрыва и запрос текущего стакана + набор изменений не гарантирует что данные будут связаны, с этим сталкиваются все кто пытается строить красивые графики уровня mtgoxlive.com)

[SonkoDmitry]

Это видел, depth штука очень крутая, но для построения какиз-то базовых стратегий нужна связка аск/бид, ибо спрэд скачет как бешеный. Ставить фиксированный не очень хорошо. Поэтому начал собирать сам, с начала апреля по двум биржам с минимальным интервалом. База растет как на дрожжах.

[btcxorg]

мы отказались от сбора стаканов, т.к. нет стоко места, а тикетов много как и бирж.

[madcoiner]

По паре btc:usd можно вытащить ask/bid для различных бирж через bitcoincharts, у них есть AJAX интерфейс
Пример, идём сюда http://bitcoincharts.com/charts/mtgoxUSD#rg60zczsg2013-01-15zeg2013-01-17ztgSzm1g10zm2g25zv  и под графиком видим ссылку "Load raw data"

[SonkoDmitry]

там только аск котировки увы, может я конечно ошибаюсь, но как из полей
Timestamp   Open   High   Low   Close   Volume (BTC)   Volume (Currency)   Weighted Price
2013-04-15 00:08:00   3315   3315   3306.1   3306.1   0.2   662.11   3310.55
вытащить? О_о Если я привильно помню теорию, то цена закрытия=аск цена

[rPman]

мы отказались от сбора стаканов, т.к. нет стоко места, а тикетов много как и бирж.

Очень жаль, только непонятно о каких размерах вы говорите, что у вас нет места?

2 гигабайта json дампа запросов depth от mtgox (2338 файлов ~ 1 месяц) упаковываются 7z в 9 мб. Это много? А ведь можно изменить формат хранения на более адекватный.

[madcoiner]

там только аск котировки увы, может я конечно ошибаюсь, но как из полей
Timestamp   Open   High   Low   Close   Volume (BTC)   Volume (Currency)   Weighted Price
2013-04-15 00:08:00   3315   3315   3306.1   3306.1   0.2   662.11   3310.55
вытащить? О_о Если я привильно помню теорию, то цена закрытия=аск цена

Я думаю, там не аск-бид цена, а просто последняя цена по которой была совершена сделка куплены койны по чьему-то аску или проданы койны на чей-то бид. А, вообще да, я немного не ту ссылку дал, там просто история цен, раздельную информацию по ask/bid оттуда нельзя получить.

[SonkoDmitry]

Если я правильно помню биржевую теорию, то цена закрытия за некий период это и есть аск цена. Те-еж свечки рисуются по четырем параметрам: это цена открытия и закрытия, внутри минимальная и максимальная цена, либо за аск цену считают среднее между минимальной и максимальной, но по моему это не совсем верно, поправьте меня пожалуйста. Посему чтобы взять и прогнать даже базовую стратегию, надо знать и цену покупки и цену продажи в в конкретный момент времени либо во временной интервал.

мы отказались от сбора стаканов, т.к. нет стоко места, а тикетов много как и бирж.

Очень жаль, только непонятно о каких размерах вы говорите, что у вас нет места?

2 гигабайта json дампа запросов depth от mtgox (2338 файлов ~ 1 месяц) упаковываются 7z в 9 мб. Это много? А ведь можно изменить формат хранения на более адекватный.

В данный момент, лично у меня за апрель около 1кк записей, весом около 800мб. Для базы это пока мало, дальше будем дробить по таблицам.

[rPman]

Если я правильно помню биржевую теорию, то цена закрытия за некий период это и есть аск цена. Те-еж свечки рисуются по четырем параметрам: это цена открытия и закрытия, внутри минимальная и максимальная цена, либо за аск цену считают среднее между минимальной и максимальной, но по моему это не совсем верно, поправьте меня пожалуйста. Посему чтобы взять и прогнать даже базовую стратегию, надо знать и цену покупки и цену продажи в в конкретный момент времени либо во временной интервал.

Только данные depth могут дать адекватную и верную информацию по цене покупки и продажи на момент времени, особенно это актуально во время сильного движения, другое дело, что исходя из некоторых законов рынка (а так же если учесть алгоритмы типичных манипуляторов) эти данные можно извлечь и из истории сделок, даже агригированных по некоторому интерваллу, но это нетривиальные формулы. Кое какую информацию дают классические индикаторы.

Вся проблема - в леквидности и волотильности рынка. Чем большими объемами приходится оперировать, тем большие допущения и ошибки будут вносить данные, восстановленные из простой истории сделок. Вам кажется что курс скачет вверх-вниз постепенно сужаясь (классический треугольник)? а на самом деле это из-за недостаточной скорости наполнения стакана рынок пожирает аски и биды по краям пустого стакана, поедая жалкие крохи, которые туда закладывают боты мелких спекулянтов, а когда просыпаются крупные трейдеры с ручными ордерами, стакан становится узким.

В данный момент, лично у меня за апрель около 1кк записей, весом около 800мб. Для базы это пока мало, дальше будем дробить по таблицам.

Смотря как хранить. Самое эффективное, через определенный интервал времени сохранять весь стакан и последовательно информацию о его изменении (интервал лучше выбирать исходя их хадач, например суточный или недельный), но с точки зрения универсальности (особенно для удобства публикации) - лучше хранить в виде файлов, которые отдает сама биржа, упакованных поинтервально в архиве (например ежемесячные архивы поминутных дампов depth). Обрабатывать такие данные удобно теми же алгоритмами, по которым работают сами боты, что очень удобно для тестирования стратегий.
Десятки мегабайт в месяц на биржу - это смехотворные объемы, а архиватор 7z невероятно быстро работает на чтение.