Я больше всего не люблю дилетантов, которые на понимая или не разобравшись в тематике высказывают свое псевдо экспертное мнение. Давайте определим кто дилетант, я или вы, предлагаю вам пари:

Я заплачу вам 200к, если вы за два дня напишете похожую систему. Давайте для простоты выберем хотя бы 100 магазинов, 50 выбираете вы, 50 я. Потом вы объединяете одинаковые товары в одну карточку, так как всего два дня, давайте возьмем 60% точности. Вы создаете открытый репозиторий, после того как закончите, любой сможет проверить вашу работу и если все нормально - деньги ваши, легкие деньги Так же могу предложить бонус еще в размере 100к, если ваш парсер будет работать не по шаблонам а распознавать полезную информацию за счет машинного обучения, ну и желательно чтобы он не ддосил маленькие сайты и его не банили крупные. И еще бонус в 100к, если сводить все в карточки вы будете не руками а так же используя более продвинутые технологии. Ну и пожалуй если все это уложится в 300 строк кода, то мой вам поклон.

Если вы согласны, я напишу подробнее что такое карточка товара и как она должна выглядеть, так же это щедрое предложение действует всего 24 часа, так что поторопитесь согласиться