Вопросы, предложения и решения по API биржи BTC-E.COM

[alpet]

Собственно сабж, официальная справка мне показалась неполной. Да и общаться тем кто ботов пишет нужно где-то.
У меня вопрос пока такой: как получать заявки со статусами "matched" и "cancelled"? Это очень важно для очередного релиза моего торгового терминала Trade Studio.
А в плане предложений, очень хочется поскорее веб-сокеты Имхо реквестовый протокол ставит крест на очень многих торговых стратегиях требовательных к производительности.

Сам я могу разъяснить нюансы торговли через существующее API, посредством компонентов Indy для Delphi/C++ Builder.

[1715352933]

1715352933

[1715352933]

1715352933

[1715352933]

1715352933

[hazarun]

Было бы интересно почитать ответы на данную тему.
И задать вопросы, при случае.

[Sergauskazz]

Сам я могу разъяснить нюансы торговли через существующее API, посредством компонентов Indy для Delphi/C++ Builder.

можно подробней, что это за компоненты?

[alpet]

можно подробней, что это за компоненты?

TIdHttp это компонент позволяющий делать POST запрос, в том числе через SSL, что нам и требуется. Распространяется с открытым исходным кодом. Согласно устоявшемуся мнению это полный шлак в плане концепции и реализации, но я уже привык )
Для подписи сообщений легко можно использовать объект класса TIdHMACSHA512, причем это касается похоже всех криптовалютных бирж.

[XBOCT]

У меня вопрос пока такой: как получать заявки со статусами "matched" и "cancelled"?

Кажется, если покурить выхлоп метода TransHistory то можно понять какие были заявки и, что было matched, а что cancelled.

[alpet]

Кажется, если покурить выхлоп метода TransHistory то можно понять какие были заявки и, что было matched, а что cancelled.

У меня и так 3-4 запроса в секунду получается, что совсем не радует (на бирже FORTS можно десятки раз в секунду получать обновление данных).
Тут получается что надо для получения информации об заявках, нужно двойной запрос делать. Как-бы облако не забанило в итоге за излишнюю активность )
Потом, данный метод сложно использовать, непонятно каким образом к заявкам привязку делать.

[hazarun]

У меня и так 3-4 запроса в секунду получается, что совсем не радует (на бирже FORTS можно десятки раз в секунду получать обновление данных).

Есть ли смысл, в столь частых запросах, при условии, что данные на бирже кешируются раз в 2 секунды ?
Или уже не 2 секунды кеширования ?

[alpet]

Есть ли смысл, в столь частых запросах, при условии, что данные на бирже кешируются раз в 2 секунды ?
Или уже не 2 секунды кеширования ?

У меня разные запросы из разных ниток отправляются. Чтобы терминал хоть что-то отображал, надо постоянно синхронизировать котировки, заявки, сделки.

[hazarun]

У меня разные запросы из разных ниток отправляются.

Поясните, как отправление запросов из разных потоков (даже с разных компьютеров)
влияет на ситуацию с кэшированием стакана на бирже, (слышал про 2 секунды).

[alpet]

Поясните, как отправление запросов из разных потоков (даже с разных компьютеров)
влияет на ситуацию с кэшированием стакана на бирже, (слышал про 2 секунды).

С оценкой времени кэширования я не интересовался. Подозреваю, что облако тупо получает с торгового сервера данные каждые 2 секунды, и раздает их по запросам. У меня каждая нитка вроде имеет 1-секундный интервал опроса, что все-же желательно и даже при 2-секундной заморозке данных.

[hazarun]

С оценкой времени кэширования я не интересовался. Подозреваю, что облако тупо получает с торгового сервера данные каждые 2 секунды, и раздает их по запросам. У меня каждая нитка вроде имеет 1-секундный интервал опроса, что все-же желательно и даже при 2-секундной заморозке данных.

У меня примерно так же.
На 3 ТОП биржи совокупно запросы через 1500 - 2000 миллисекунд.
Хотя сам запросы выполняются гораздо быстрее. Опасаюсь уменьшать интервал опросов.

Заметим, самые медленное исполнение запроса по выдаче данных стакана у БТЦ-е.
Гокс и Штамп отдают данные (обычно) в десятки раз быстрее. Может что не так делаю ?

Как у Вас ?

[hazarun]

У меня разные запросы из разных ниток отправляются. Чтобы терминал хоть что-то отображал, надо постоянно синхронизировать котировки, заявки, сделки.

Потоки, запускаете по таймеру ?  Иль стоит еще какой метод глянуть ?

[alpet]

Как у Вас ?

Давно не делал замеров специальных, когда-то было и под 2-3 секунды. Тогда ещё ддосили жестко походу.

Потоки, запускаете по таймеру ?  Иль стоит еще какой метод глянуть ?

Просто запускаю подряд, у меня довольно изощренные наследники класса TThread. Каждый поток выполняет свою виртуальную машину Lua, и уже сценарии осуществляют запрос/парсинг данных. Так с некоторых пор сделал, чтобы легче было корректировать при изменениях API со стороны биржи, ну и пользователи программы смогут скрипты поправить чуть что.

[hazarun]

Давно не делал замеров специальных, когда-то было и под 2-3 секунды. Тогда ещё ддосили жестко походу.

Поставил вывод задержи при опросах на форму, сразу. Никакие замеры и не требуются. Наблюдаем в реальном времени.
Коллега, автор Qt Bitcoin Trader, тоже выводит лаги на форму, на постоянку.

Правда не очень понял, что именно он там выводит.
Данные эти в наших терминалах , даже близко не совпадают. Остальное все совпадает.

[alpet]

Коллега, автор Qt Bitcoin Trader, тоже выводит лаги на форму, на постоянку.

Правда не очень понял, что именно он там выводит.
Данные эти в наших терминалах , даже близко не совпадают. Остальное все совпадает.

Тут можно прояснить кое что. Задержка запроса, это время от начала отправки GET реквеста серверу,  до получения данных. Лаг данных, это отставание времени в данных полученных с биржи, относительно локального времени.
С лагом предполагается, что он может достигать при отсутствии прочих проблем, величины интервала опроса. Т.е. если опрашивать раз в 2 секунды, то лаг будет скорее всего более-менее Random от 0 до 2 секунд. Если опрашивать 10 раз в секунду, но минимальный лаг будет 100 мс каждые 2 секунды. Алгоритмически, если учитывать схему кэширования на стороне сервера - можно постоянно подбирать величину задержки, чтобы после получения данных лаг был минимальный. У меня в определенных местах этот подход используется, но под btc-e я его пока не стал прикручивать.

[XBOCT]

Коллега, автор Qt Bitcoin Trader, тоже выводит лаги на форму, на постоянку.

Правда не очень понял, что именно он там выводит.

В Qt Bitcoin Trader хоть оно и называется Lаg-ом, фактически выводится время прошедшее с последнего полученного ответа, а не время обработки запроса.

[hazarun]

Получается, мы имеем, как минимум 4 временных промежутка:

1. Период опроса.
2. Задержка исполнения запроса.
3. "server_time":1342123547   и локальное время, разница между ними.
4. Время прошедшее с момента прихода последнего ответа сервера.

Надо как то определиться, что бы при беседе была однозначность у собеседников , о чем именно одет речь.

[zulunation]

alpet В основе сбора данных лежат POST / GET запросы. Почему бы не использовать PHP для этого?
Lua выбрал из за компактности?

[IGHOR]

В Qt Bitcoin Trader хоть оно и называется Lаg-ом, фактически выводится время прошедшее с последнего полученного ответа, а не время обработки запроса.

Так было в первых версиях. Сейчас Soft Lag показывает время прошедшее с момента отправки до момента получения текущего пакета.

[alpet]

alpet В основе сбора данных лежат POST / GET запросы. Почему бы не использовать PHP для этого?
Lua выбрал из за компактности?

Lua выбрал давно из-за... STALKER, очень хорошо разобрался в этой штуке. Изначально в терминале были реализованы только скрипты для создания ботов на этом языке, но потом дошла очередь и до торговых API.
Да и очень хорошо в Delphi код VM подключается в виде DLL, думаю можно и 64-бита сделать сборки. Сейчас моя программа может подключаться сразу к нескольким биржам, и позволяет сделать даже арбитраж между ними (прообраз скрипт уже есть).

[hazarun]

Так было в первых версиях. Сейчас Soft Lag показывает время прошедшее с момента отправки до момента получения текущего пакета.

Приветствую автора лучшего терминала !
Где то пробегала инфа, Вы запустили АПИ с btcchina.com. С какой периодичность забираете у них данные по стакану ?
Пока поставил интервал опроса 1100 миллисекунд, стоит чаще ? Или обидятся ?

[IGHOR]

Так было в первых версиях. Сейчас Soft Lag показывает время прошедшее с момента отправки до момента получения текущего пакета.

Приветствую автора лучшего терминала !
Где то пробегала инфа, Вы запустили АПИ с btcchina.com. С какой периодичность забираете у них данные по стакану ?
Пока поставил интервал опроса 1100 миллисекунд, стоит чаще ? Или обидятся ?

Привет.
Да, добавил btcchina.com
Разработчик биржи говорил что нет лимита запросов.

Hello July,

Thank you for pointing out the error.  The new getMarketDepth2 method allows you to request a arbitrary number of bid and ask orders from the complete order book. Let's say you only need to get the 15 highest buyers and 15 lowest sellers then it's possible to get that from getMarketDepth2.

Currently there is no request limitation for API requests, however that could be changed in future.

Regards,

Tony Leng

BTC China
https://www.btcchina.com

Но китайцы писали что их банили, и я увеличил интервал опроса до 1200 как у битстампа.
После 1.07.95 обновления всем будет форсирован минимальный интервал 1200 до выяснения оптимального числа.

[hazarun]

Но китайцы писали что их банили, и я увеличил интервал опроса до 1200 как у битстампа.
После 1.07.95 обновления всем будет форсирован минимальный интервал 1200 до выяснения оптимального числа.

Спасибо за информацию.
Поставлю тоже, пока  1 200 для Гокса, Штампа, БТЦе, БтцЧина.

Что скажет alpet ?

[IGHOR]

Спасибо за информацию.
Поставлю тоже, пока  1 200 для Гокса, Штампа, БТЦе, БтцЧина.

Для BTC-e и Mt.Gox до бана еще далеко.

[hazarun]

Для BTC-e и Mt.Gox до бана еще далеко.

А сколько для  них используете период опроса ?
Кстати, у Штампа, похоже самый быстрый возврат данных по стакану. Несколько десятков мсек.

Чину только запустил, еще не смотрел. Но пинг на них - медленно проходит.
Или это только у меня ?

[IGHOR]

Для BTC-e и Mt.Gox до бана еще далеко.

А сколько для  них используете период опроса ?
Кстати, у Штампа, похоже самый быстрый возврат данных по стакану. Несколько десятков мсек.

Чину только запустил, еще не смотрел. Но пинг на них - медленно проходит.
Или это только у меня ?

Использую 500Мс, по рекоммендациях CloudFlare минимум - 400, но с запасом будет 500.
Но я использую всякие хитрые оптимизации http, может из-за них 500 мс хорошо и не банят.
С лимитом у битстампа 600 запросов в 10 минут толку от пинга ноль.
Наверно пинг btcchina хорош только для китейцев.

[zulunation]

Для битштампа заметил что даже если соблюдать интервал (600 запросов в 10 минут) то для order book  много ответов с одинаковым временным штампом. С чем это может быть связано?
Предполагаю что у биржи книга ордеров обновляется только тогда когда появляется новые заявки. Тогда и обновляется временной штамп.
В этом не уверен.

[IGHOR]

Для битштампа заметил что даже если соблюдать интервал (600 запросов в 10 минут) то для order book  много ответов с одинаковым временным штампом. С чем это может быть связано?
Предполагаю что у биржи книга ордеров обновляется только тогда когда появляется новые заявки. Тогда и обновляется временной штамп.
В этом не уверен.

Думаю ваше предположение верное. Но может и их кеш виноват, их апи не славиться быстродействием.

[s1B]

А где живут сервера btc-e?
Где-то за границей?
Из Москвы до них получается пинг 350 мс.
whois по ним географии не показывает.

[IGHOR]

А где живут сервера btc-e?
Где-то за границей?
Из Москвы до них получается пинг 350 мс.
whois по ним географии не показывает.

Если это вопрос ко мне, то я не знаю.

[s1B]

del

[hazarun]

del

Да, чет заглохла тема.
Вопросы по АПИ похоже кончились. Или ответы 

[s1B]

Вопросы были, но я самостоятельно разобрался, новый вопросов пока нету.
От поддержки помощи не было нисколько, они сами ничего не знают.  :-(

[hazarun]

Вопросы были, но я самостоятельно разобрался, новый вопросов пока нету.
От поддержки помощи не было нисколько, они сами ничего не знают.  :-(

Да, насчет поддержки, согласен с Вами полностью.

А Вы значить разобрались.... Такова блин  судьба программеров 

[hazarun]

Вопрос с целью оценки перспективы:
Планирует ли БТЦе переходить на ФИКС протокол ? Есть такое в планах ?

[Itrych]

можно подробней, что это за компоненты?

TIdHttp это компонент позволяющий делать POST запрос, в том числе через SSL, что нам и требуется. Распространяется с открытым исходным кодом. Согласно устоявшемуся мнению это полный шлак в плане концепции и реализации, но я уже привык )
Для подписи сообщений легко можно использовать объект класса TIdHMACSHA512, причем это касается похоже всех криптовалютных бирж.

Никак не получается у меня прорваться сквозь апи биржи.
Бьюсь уже третий день.
сейчас застрял на отсылке хешированной строки.
а именно тут:


with TIdHMACSHA512.Create do
  try
     Key := ToBytes(Secret);
     Sign:=StringOf(HashValue(ToBytes(SignH)));
   finally
     Free;
   end;

Delphy7 ругается на неопределенную функцию StringOf.
Толи я чтото не подлключил, хотя SysUtils подключена,
толи вообще этой функции в нем нету.

Пробровал обойти типа такого:
function stringOf(const Input: TidBytes): string;
var
i: integer;
begin
SetLength(Result, Length(Input));
for i := 0 to High(Input) do
Result := chr(input);
end;

Но на выходе какаято неудобоваримая лажа..

Подскажи - как ты реализовал хеширование запроса?
Заранее спасибо.

[hazarun]

Никак не получается у меня прорваться сквозь апи биржи.
Бьюсь уже третий день.

А примеры реализации АПИ на сайте БТЦе, на разных языках, Вам не смогут помочь ?
Я утащил на Си шарп, вполне рабочая библиотека...

[Itrych]

Никак не получается у меня прорваться сквозь апи биржи.
Бьюсь уже третий день.

А примеры реализации АПИ на сайте БТЦе, на разных языках, Вам не смогут помочь ?
Я утащил на Си шарп, вполне рабочая библиотека...

Чем мне может помочь пример на си, если я пытаюсь реализовать работу в Delphi.
На Php к примеру все работает без проблем, а вот из Delphi не получается.
Сейчас пока сделал вызов из дельфи скрипта на php который уже в свою очередь обращается к апи..
Криво - но хоть работает..

[hazarun]

Чем мне может помочь пример на си, если я пытаюсь реализовать работу в Delphi.
На Php к примеру все работает без проблем, а вот из Delphi не получается.
Сейчас пока сделал вызов из дельфи скрипта на php который уже в свою очередь обращается к апи..
Криво - но хоть работает..

Да, примеры там на многих языках, но Дельфи среди них нету   
Переходите на Шарп 

[hazarun]

Интересно вот, народ с АПИ БТЦе работает через АПИ2.
Кто пробовал работать через АПИ3 ?

Есть у АПИ3 какие преимущества - недостатки , по сравнению с АПИ2 ?

[XBOCT]

Интересно вот, народ с АПИ БТЦе работает через АПИ2.
Кто пробовал работать через АПИ3 ?

Есть у АПИ3 какие преимущества - недостатки , по сравнению с АПИ2 ?

В опитании оно еще "beta".
Наверное есть смысл, если одним роботом торговать несколько пар.

[L3n1n]

Чем мне может помочь пример на си, если я пытаюсь реализовать работу в Delphi.
На Php к примеру все работает без проблем, а вот из Delphi не получается.
Сейчас пока сделал вызов из дельфи скрипта на php который уже в свою очередь обращается к апи..
Криво - но хоть работает..

Рукалицо...
1. Может Вам просто нужно делфи подучить?
2. Вызов скрипта на php это что-то... Вообще не пойму, зачем использовать php там, где он вообще никаким боком не подходит.

[hazarun]

1. Может Вам просто нужно делфи подучить?
2. Вызов скрипта на php это что-то... Вообще не пойму, зачем использовать php там, где он вообще никаким боком не подходит.

Мне чет тоже так думается.

А вот не подскажет ли народ, есть ли где история сделок по паре на БТЦе.
Скажем за прошедший год ? Пусть меньший период, ладно уж....

[XBOCT]

А вот не подскажет ли народ, есть ли где история сделок по паре на БТЦе.
Скажем за прошедший год ? Пусть меньший период, ладно уж....

тут

[sonicby]

Кто знает что значит поле в ответе  "is_your_order":1,
в методе TradeHistory ?
Якобы тип мой ордер или нет. Но сам метод и так возвращает мои сделки. 

[hazarun]

Кто знает что значит поле в ответе  "is_your_order":1,
в методе TradeHistory ?
Якобы тип мой ордер или нет. Но сам метод и так возвращает мои сделки. 

Хорошо, что тему эту Вы подняли.
Плохо то, что ответов от БТЦ -е здесь видеть не приходилось.

Для ясности:  АПИ 2 или АПИ 3 пользуетесь ?

[sonicby]

Кто знает что значит поле в ответе  "is_your_order":1,
в методе TradeHistory ?
Якобы тип мой ордер или нет. Но сам метод и так возвращает мои сделки.  

Хорошо, что тему эту Вы подняли.
Плохо то, что ответов от БТЦ -е здесь видеть не приходилось.

Для ясности:  АПИ 2 или АПИ 3 пользуетесь ?

АПИ2 пока. А ты всю историю торгов сохраняешь ? по всем парам ?
А то у меня мучает вопрос если на серваке сбой, то торги по ордерам потеряются. Было бы неплохо иметь бэкап или возможность синхронизации между 2 независимыми серверами.
А иначе придется городить 2 сервера самому. А так можно было бы обменяться доступом на чтение к БД Mysql . Или забить ?

[hazarun]

АПИ2 пока. А ты всю историю торгов сохраняешь ? по всем парам ?
А то у меня мучает вопрос если на серваке сбой, то торги по ордерам потеряются. Было бы неплохо иметь бэкап или забить ?

Историю торгов не сохраняю.
Рассчитываю, что у БТЦе с бэкапами - все хорошо. 

[sonicby]

АПИ2 пока. А ты всю историю торгов сохраняешь ? по всем парам ?
А то у меня мучает вопрос если на серваке сбой, то торги по ордерам потеряются. Было бы неплохо иметь бэкап или забить ?

Историю торгов не сохраняю.
Рассчитываю, что у БТЦе с бэкапами - все хорошо. 

Я имел ввиду общую историю.

[hazarun]

Я имел ввиду общую историю.

Общую историю торгов - тоже не храню.

А что, где то можно взять историю торгов по бирже, с Аск, Бид, обьемы ?

[sonicby]

Я имел ввиду общую историю.

Общую историю торгов - тоже не храню.

А что, где то можно взять историю торгов по бирже, с Аск, Бид, обьемы ?

Ну ссылку на минутные бары тут давали, подробную историю качать и хранить самому надо.
Биржа не дает старые данные по ордерам как я понял.

[panic]

"is_your_order":1 - на момент исполнения твой ордер был в стакане,
"is_your_order":0 - ты закрыл чей-то ордер.

История сделок минимум за последний месяц есть у меня: https://188.65.211.132/data/ (кроме CNH и GBP пар), время используется серверное BTC-e, там же в директории candles и цены OHLC есть.

[sonicby]

"is_your_order":1 - на момент исполнения твой ордер был в стакане,
"is_your_order":0 - ты закрыл чей-то ордер.

История сделок минимум за последний месяц есть у меня: https://188.65.211.132/data/ (кроме CNH и GBP пар), время используется серверное BTC-e, там же в директории candles и цены OHLC есть.

О, спасибо. И за историю торгов тоже большое спасибо  .
Вечером скачаю.

[sonicby]

panic
Еще вопрос.
Ты как запрашиваешь данные по истории торгов ?
АПИ3, все пары сразу ?
Раз в 2 секунды и какой лимит берешь ?

[panic]

panic
Еще вопрос.
Ты как запрашиваешь данные по истории торгов ?
АПИ3, все пары сразу ?
Раз в 2 секунды и какой лимит берешь ?

api3, limit 100, опрос может происходить немного реже, т.к. используется банальное sleep(2); .

[sonicby]

Вчерашние торги моя утилита частично пропустила, если смотреть по номерам ордеров получается скорость торгов была 250 ордеров за секунду по всем парам, в пиковые моменты.

[sonicby]

Я смотрю китайские биржи поддерживают отдачу полной истории и только бтц-е как всегда. 

[sonicby]

Кто-нибудь делал выгрузку истории торгов методом TradeHistory ?
Какие параметры использовали ?