Шаблон ТЗ на парсинг: что указать, чтобы получить нужные данные

Хорошее техническое задание экономит время обеим сторонам: подрядчик быстрее оценивает работу, а вы получаете именно те поля, в той частоте и в том формате, которые нужны. Ниже шаблон из 11 пунктов и чек-лист. Скачайте, заполните и отправьте нам; если какой-то пункт пока неясен, так и напишите, уточним вместе.

Шаблон по пунктам

1. Цель проекта
   Зачем вам эти данные и что вы с ними сделаете: следить за ценами конкурентов, наполнить каталог, собрать базу для отдела продаж, оценить рынок. От цели зависит, какие поля и какая точность нужны.
2. Источники
   Список сайтов или площадок. Лучше с ссылками на 2–3 примера страниц (карточка, список, категория). Укажите регион или город, если данные зависят от него.
3. Что нужно собрать
   Перечень полей: название, цена, артикул, наличие, характеристики, адрес, рейтинг и так далее. Отметьте обязательные поля и «желательные». Если есть пример нужной строки результата, приложите.
4. Объём и границы выборки
   Примерное число товаров, объявлений или организаций на каждом источнике. Какие категории, рубрики, регионы входят, а какие нет. Нужна ли история изменений или только текущий срез.
5. Частота обновления
   Разовая выгрузка или по расписанию (несколько раз в день, ежедневно, еженедельно). К какому времени данные должны быть готовы.
6. Формат и доставка
   CSV, Excel или JSON, либо API. Куда передавать данные: на почту, в облачную папку, в вашу систему. Желаемые названия колонок, кодировка, разделитель.
7. Требования к качеству
   Как поступать с дублями, пропусками, разными валютами и единицами измерения. Нужно ли сопоставлять одинаковые товары на разных сайтах и приводить названия к единому виду.
8. Ограничения и правовые вопросы
   Нужны ли персональные данные (обычно нет, и мы их не собираем без законных оснований). Есть ли у вас требования по NDA. Известны ли ограничения источника по автоматическому сбору: их стоит обсудить заранее.
9. Критерии приёмки
   Как вы проверите результат: выборочная сверка вручную, допустимая доля пропусков, проверка на тестовом наборе. Чем яснее критерии, тем меньше споров при сдаче.
10. Сроки и бюджет
    Когда нужен первый результат и когда полный. Бюджетные ориентиры, если они есть: это помогает предложить подходящее решение, а не самое дорогое.
11. Контакты
    Кто принимает данные и кто отвечает на уточняющие вопросы со стороны заказчика. Удобный способ связи.

Проверка перед отправкой

Пройдитесь по списку: если все пункты закрыты, оценка будет точнее, а вопросов от исполнителя станет меньше.

• ☐ Указаны ссылки на примеры страниц каждого источника.
• ☐ Обязательные и желательные поля разделены.
• ☐ Приложен пример строки результата (хотя бы одна).
• ☐ Понятно, разовая выгрузка или регулярная, и с какой частотой.
• ☐ Указан формат файла и способ доставки данных.
• ☐ Описано, что делать с дублями, пропусками и разными единицами измерения.
• ☐ Определены критерии приёмки результата.
• ☐ Проговорены правовые вопросы: персональные данные, NDA, ограничения источника.

Типичные ошибки в ТЗ

• «Соберите всё». Без списка полей и границ выборки невозможно оценить объём и стоимость. Лучше назвать 5–10 нужных полей.
• Нет примеров страниц. Ссылки на две-три страницы источника сильно ускоряют оценку и снижают риск недопонимания.
• Не указана частота. Разовая выгрузка и ежедневный мониторинг стоят по-разному и устроены по-разному.
• Неясно, куда доставлять данные. Формат и способ передачи лучше определить сразу, чтобы не переделывать выгрузку.
• Нет критериев приёмки. Заранее договоритесь, как проверите результат: выборочная сверка, допустимая доля пропусков.
• Правовые вопросы «на потом». Персональные данные, NDA и ограничения источника проще обсудить до старта.

Частые вопросы