Всем привет.

Для своих потребностей - сделал распределенный сервис сбора и надежного хранения трейдов с нескольких бирж.
Как исторических данных с момента листинга, так и тех, которые которые происходят в текущий момент.
Binance, Bitmex выкачан полностью, остальные только популярные инструменты.

Интеграция сделана с множеством бирж, но то что доступно в паблик - находится здесь:
https://api.qtdata.org/v1/public/symbols/statistics/

Серверы оплачены до апреля, потому решил поделиться со всеми желающими.
Формат данных JSON:
  {
    "tid": "eda0a32c-ee52-0323-932a-6925b796d17b",
    "timestamp": "2019-01-30T21:28:07.429Z",
    "symbol": "XBTUSD",
    "size": 300,
    "price": 3430,
    "side": "sell"
  }

Что вам нужно сделать:
1. Регистрация на: https://app.qtdata.org/register
2. Ожидаете на емейл ссылку для активации. Кликаете. Нажимаете Activate.
3. Залогиниться на https://app.qtdata.org/login
4. Слева в меню выбрать - API Tokens и нажать Create, будет создана пара Token Id и Token Secret.
5. Документация по API: http://docs.qtdata.org

CURL пример для выборки XBTUSD из bitmex за период с 2019-01-01T00:00:00Z по 2019-01-02T00:00:00Z в json формате, asc порядке и лимитом в 10000 трейдов:

curl --request GET \
  --url 'https://api.qtdata.org/v1/user/history/trades/bitmex/XBTUSD/?startPeriod=2019-01-01T00%3A00%3A00Z&endPeriod=2019-01-02T00%3A00%3A00Z&symbol=&format=json&sort=asc&limit=10000' \
  --header 'x-token-api-id: a09a36b1-316c-43cf-93ad-f278a319df01' \
  --header 'x-token-api-secret: 0c5e6b1e-445b-4aec-97ec-f23d7a7de699'

только замените на свои токены.

Если кому-то будет полезно, можете задонатить на:
19D76QvGTmozbSr1MgJfB4dc4CpsSSDyU4

Спасибо

yaw

thanks, added

Hi, all

I have decided to make a selection of services for obtaining historical data from crypto exchanges:

1. https://www.coinapi.io/
Paid access
101 exchanges and 3512 pairs announced
Access to the system through websocket and rest, there is a limit on the amount of unloaded data.
The ability to receive streams in real time via websocket
There are orderbooks, trades, ohlc

2. https://www.cryptotick.com/
Paid access
The product of the same developers.
The difference is that here csv files are downloaded in archives
There are all of the above, in different aggregations.

3. https://www.kaiko.com/
Paid access
30 stock exchanges and over 5500 shopping pairs announced
Access to csv archives. orderbook, trades, ohlc

4. https://www.cryptodatadownload.com/
Free access.
28 exchanges and 545 pairs have been announced.
Available for OHLC downloading with daily and hourly aggregation.

5. https://coinograph.io/
Paid access
5 exchanges are announced and it is not known how many pairs.
Access to the API and files to download.

6. https://coinmetrics.io
Free API access for file downloads.
Inconvenient description and documentation.

7. https://bitcoinchain.com
Free API access via REST
Rather limited capacity for data collection.
6 exchanges announced, number of couples unknown
Admin member on the forum:
https://bitcointalk.org/index.php?action=profile;u=85769

8. https://www.quandl.com
There is a paid and free access.
Giant in the world of the fin. data, data in different forms and formats.
It is one of data providers for the tradingview.

9. bitcoincharts.com
Free access to csv files saved from various exchanges and pairs
http://api.bitcoincharts.com/v1/csv/

10. coinmarketcap.com
There is a paid and free access.
OHLC and quotes. A huge number of exchanges and pairs.
Access only via REST

11. https://www.bituniverse.org/
Smartphone application. android / ios
About 10+ exchanges.
Positioned as:
Your Auto Cryptocurrency Portfolio Manager & Trading Terminal
As such, no access to the API is provided.

12. https://coinlib.io/
160 exchanges announced
It is possible to get market volumes via rest API by the token.
There are no trades.

13. https://www.coingecko.com/api/docs/v3
over 150 exchanges and over 2400 coins and tokens.
i didn't find api for trades and ohlc, only volume information

Update if you know something that is not in the list.

Does someone else use historical data to backtest strategies?

Thanks

добавил, спасибо

Спасибо

Минусы большинства сервисов:
Цена, отсутствие raw trades, потерянные данные.

Да. Основная важность подобных данных - это бектестинг стратегий и аналитика рынка.
Я наверное могу уже блог целый начать писать по биржам, как они теряли данные, я писал в техподдержку. Что-то исправлялось, что то задним числом добавлялось. В итоге данные у бесплатных сервисов не верифицируются и что там за цифры - хз.

Основываться только на cmc - достаточно спорно. Многие торгуют по trading view. А откуда прилетают цифры редко задают вопросы. Я несколько раз видел различия данных тв и бирж. Кто поставщик - непонятно.

Было бы хорошо знать архитектуру и процессы получения данных у этих сервисов.
Большинство слушают веб сокеты для получения в реальном времени торгов. Но это ультра рисковано на минуту потерять связь с биржой по причине обновления или разрыва связи между ДЦ и все. Данные безвозвратно потеряны.

Да и хранить их дорого очень. И важный момент - поиск.

В общем я потратил на это очень много времени и создам наверное отдельный топик.
А здесь пока обзор рынка оставлю.

спасибо, добавил

Решил сделать подборку сервисов для получения исторических данных с крипто бирж:

1. https://www.coinapi.io/
Платный доступ
Заявлена 101 биржа и 3512 пар
Доступ к системе через websocket и rest, есть лимит на количество выгружаемых данных.
Возможность получения потоков в реальном времени.
Есть orderbooks, trades, ohlc

2. https://www.cryptotick.com/
Платный доступ
Продукт этих же разработчиков.
Разница в том, что здесь скачиваются файлы csv в архивах, в отличии от api, куда нужно уметь достучаться.
Есть все вышеперечисленное, в разной агрегации.

3. https://www.kaiko.com/
Платный доступ
Заявлено 30 бирж и более 5500 торговых пар
Доступ к csv архивам. Есть orderbook, trades, ohlc

4. https://www.cryptodatadownload.com/
Бесплатный доступ.
Заявлено 28 бирж и 545 пар.
Доступно на закачку OHLC с суточной и часовой агрегацией.

5. https://coinograph.io/
Платный доступ
Заявлено 5 бирж и неизвестно сколько пар.
Доступ к API и файлам на скачивание.

6. https://coinmetrics.io
Бесплатный доступ к API и скачиванию файлов.
Неудобное описание и документация.

7. https://bitcoinchain.com
Бесплатный доступ к API через REST
Достаточно ограниченные возможности для сбора данных.
Заявлено 6 бирж, количество пар неизвестно
представитель есть на форуме:
https://bitcointalk.org/index.php?action=profile;u=85769

8. https://www.quandl.com
Есть платный и бесплатный доступ.
Гигант в мире фин. данных, данные в разном виде и формате.
Является поставщиком данных для trading view.

9. bitcoincharts.com
Бесплатный доступ к файлам, сохраненных с разных бирж и пар
http://api.bitcoincharts.com/v1/csv/

10. coinmarketcap.com
Есть платный и бесплатный доступ.
Заявлено OHLC и котировки. Огромное количество бирж и пар.
Доступ через REST

11. https://www.finam.ru
Есть доступ к котировкам и OHLC, не специализируются на предоставлении через API данных.
Статья по интеграции описана здесь: https://habr.com/post/332700/

12. https://www.bituniverse.org/
Приложение для смартфона. android/ios
Около 10+ бирж.
Позиционируются как:
Your Auto Cryptocurrency Portfolio Manager & Trading Terminal
Как такового доступа к API не предоставляют.

13. https://coinlib.io/
Заявлено 160 бирж
Есть возможность получить объемы рынка через rest api по токену.
Трейдов нет.

14. coingecko
https://www.coingecko.com/api/docs/v3
не нашел ohlc и trades, только информацию об объемах

Дополняйте, если знаете что-то, чего нет в списке.

Кто-то еще использует исторические данные для бэктестинга стратегий?

Спасибо