Система прогнозирования продаж «Sales–Forecast»

Прогнозирование продаж большого ассортимента товаров

Рост списка наименований продаваемой продукции заставил многие торговые организации искать новые подходы в прогнозировании объемов продаж. Можно было путем детального анализа спрогнозировать продажи десятков видов товара, но сделать это с сотнями, а тем более тысячами рядов невозможно. При этом для любой компании, претендующей на место на рынке необходимо строить прогнозы продаж для всех, или хотя бы наиболее распространенных видов товара, в противном случае она бы испытывала значительные финансовые потери.

Основной характерной чертой подобного рода задач является наличие базы данных о продажах большого ассортимента товаров (от сотен единиц до десятков тысяч). Это означает, что имеется большое количество временных рядов продаж, требующих периодического удлинения для планирования бюджета и принятия управленческих решений.

В большинстве случаев аналитики компаний решают задачу прогнозирования продаж с помощью простейших средств анализа, которые предоставляет пакет MS Excel (особенно если информация о продажах содержится в таблицах Excel), а также с помощью аналитических модулей СУБД или ERP-систем. Кроме этого особой популярностью пользуется метод экспертных оценок.

Однако подобный подход к прогнозированию продаж обладает рядом недостатков. Во-первых, простейшие методы прогнозирования, которые включены в неспециализированные программные продукты, такие как Excel, для большинства реальных временных рядов продаж просто не работают, давая тривиальные прогнозы. Таким образом, удовлетворительная точность прогнозирования может быть достигнута при использовании специальных аналитических программных пакетов, таких как STATISTICA, или моделей, разработанных «на коленке» самими аналитиками (например, в том же Excel). Такие модели, кстати, могут давать достаточно высокую точность, однако чаще всего они работают только для конкретных рядов, с которыми непосредственно имеет дело аналитик.

Во-вторых, даже при использовании продвинутых методов, позволяющих строить более или менее точные прогнозы, необходима индивидуальная работа с каждым рядом. Это гарантирует высокую трудоемкость работы уже при небольшом ассортименте, хотя вовсе не гарантирует, что высокая точность прогнозирования обязательно будет достигнута. Как следствие, при достаточно большом числе позиций построение прогнозов приемлемой точности для всего ассортимента (или хотя бы для его части) вручную неизбежно требует больших трудозатрат и временных ресурсов.

Альтернативный подход, которого придерживаются во многих крупных компаниях-ритейлерах с ассортиментом товаров в тысячи и десятки тысяч наименований, состоит в использовании специальных модулей для планирования складских запасов и прогнозирования спроса, включенных в состав многих ERP- или SCM-систем. Как показывает практика, точность прогнозов в этом случае оставляет желать лучшего. Однако быстродействие подобных систем вполне приемлемо.

Очевидно, ошибки в прогнозировании спроса ведут либо к чрезмерному наполнению склада, что повышает издержки на хранение продукции, либо к невозможности продать тот или иной товар покупателю из-за отсутствия его на складе, что негативно отражается на лояльности клиента к компании и снижает прибыль.

Ясно, что компания всегда исходит из экономической эффективности бизнес-процессов. Поэтому до некоторого времени не вполне эффективное прогнозирование продаж и планирование складских запасов может устраивать руководство. Однако с ужесточением конкуренции между компаниями (особенно сильно этот процесс наблюдается в секторе розничных сетей), а также с расширением ассортимента продукции, качественное и оперативное прогнозирование спроса становится все более востребованным.

Оптимальным подходом в задаче прогнозирования большого числа временных рядов, по-видимому, является совместное использование оптимизационных алгоритмов автоматического прогнозирования и классических аналитических методов, усовершенствованных и адаптированных под специфику конечной задачи и непосредственно связанным с ней массивом исходных данных.

Последние разработки компании StatSoft Russia, российского представительства StatSoft Inc. (разработчика системы STATISTICA), в области автоматизации процессов прогнозирования, а также неразрывно связанных с ними процессов извлечения, форматирования и чистки данных, а также экспорта прогнозов в БД, воплощены в специальном приложении для прогнозирования продаж - системе «Sales-Forecast».

Описание системы «Sales-Forecast» 

Ядром системы являются современные методы прогнозирования, реализованные в пакете STATISTICA, которые позволяют строить прогнозы временных рядов как на основе их собственной истории, так и с привлечением дополнительных переменных и построением многомерных объясняющих моделей (см. раздел Подход к прогнозированию в пакете STATISTICA).

Для работы системе «Sales-Forecast» требуются данные о продажах в виде временных рядов. Данные могут быть импортированы из любых форматов электронных таблиц (в том числе MS Excel, Quattro Pro, ASCII и др.), а также из таблиц баз данных, поддерживающих технологию OLE DB (например, MS SQL Server, Oracle и др.).

Специальные процедуры преобразования и чистки данных, импортированных из исходного хранилища, создают таблицу STATISTICA, содержащую все исследуемые временные ряды продаж. Пример такой таблицы приведен ниже:

Пример таблицы исходных данных

Пользовательский интерфейс системы «Sales-Forecast» основан на диалоге с пользователем. Диалоговые окна могут содержать как минимальные настройки, необходимые для быстрого запуска алгоритма прогнозирования, так и более детальные настройки для опытных пользователей.

Стартовое окно системы выглядит следующим образом

Стартовое окно системы SalesForecast

В системе используются следующие прогностические и аналитические методы:

• спектральный анализ

• адаптивные методы прогнозирования (экспоненциальное сглаживание);

• модели АРПСС (ARIMA) и АРПСС с интервенциями;

• методы сезонной декомпозиции (Census 1, Census 2);

• нейронные сети.

Окно настроек автоматического прогнозирования для метода экспоненциального сглаживания приведено ниже

Настройки прогнозирования методом экспоненциального сглаживания

Система в автоматическом режиме перебирает большое число моделей (в данном случае моделей экспоненциального сглаживания), подгоняя их к каждому ряду продаж, и анализирует точность прогнозирования каждой из этих моделей на основе независимой оценки ошибки с помощью метода кросс-проверки. Модель, обеспечивающая наименьшую ошибку прогноза, может быть автоматически принята в качестве основной, и прогноз с ее помощью представлен пользователю.

Горизонт прогнозирования может варьироваться и задаваться как с помощью ручного ввода, так и с использованием встроенного календаря

Задание интервала прогнозирования

Все результаты анализа и прогнозирования (по умолчанию это таблица и график прогноза) помещаются в рабочую книгу STATISTICA с разделением по различным продуктам. Пример такой рабочей книги приведен на рисунке

По окончании обработки выбранных временных рядов формируется общая таблица с прогнозами по всем продуктам, информация из которой может быть выгружена в исходное хранилище.

Кроме того, имеется возможность создания на основе результатов прогнозирования законченных аналитических отчетов, содержимое которых определяет и настраивает пользователь. В отчет помещаются необходимые таблицы и графики, может быть добавлен текст, а также в него могут быть вставлены любые объекты, поддерживающие технологию Active-X. Отчет сохраняется в формате .rtf, .pdf, .html и др., поэтому результаты анализа и прогнозирования можно просматривать за рабочими станциями, на которых система STATISTICA не установлена.

Подход к прогнозированию в пакете STATISTICA

Пакет STATISTICA является комплексным аналитическим инструментом, предназначенным для решения широкого круга различных задач и проведения исследований в самых разных областях применения статистики, например, в промышленности, финансовой сфере, рекламном бизнесе, медицине, социологии и т.д.

Для многих компаний одной из актуальных задач является задача прогнозирования временных рядов и в частности, временных рядов продаж. Необходимо предвидеть ситуацию, чтобы принимать адекватные меры и решения.

Современная методология и подходы в задачах прогнозировании подробно изложены в книге: Боровиков В.П., Ивченко И.Г. Прогнозирование в системе STATISTICA в среде Windows (2-е издание, изд-во Финансы и Статистика, 2006).

Здесь же мы кратко опишем основные инструменты пакета STATISTICA, которые используются аналитиками при рассмотрении таких задач.

При решении задач прогнозирования могут применяться процедуры и модули следующих блоков, составляющих пакет STATISTICA:

• Базовая STATISTICA

• Линейные и Нелинейные Модели STATISTICA

• Многомерные Разведочные Технологии Анализа

Базовая STATISTICA - STATISTICA Base (ядро системы) – необходим для расчета описательных статистик, построения графиков, сравнения нескольких групп (например, рядов продаж за несколько лет) и оценки правомерности использования "старых" данных при построении прогнозов, оценки изменчивости ряда, "чистки данных" (нахождения и обработки выбросов), расчета корреляций, выявления зависимостей между временными рядами и т.д.

В этом блоке реализован один из наиболее часто используемых при прогнозировании методов - построение классической линейной модели многомерной регрессии, описывающей зависимость между переменной, которую необходимо прогнозировать, и влияющими на нее факторами. Например, может быть смоделирована зависимость объемов продаж от таких факторов как цены на продукцию, расходы на проведение рекламных и маркетинговых акций, сезонность в распределении продаж, цены конкурентов и др. При известных значениях факторов на основе объясняющей модели легко могут быть спрогнозированы объемы продаж.

Таким образом, анализ зависимостей между переменными не ограничивается проведением корреляционного анализа, а включает также построение на основе исходных данных численной зависимости, которая может быть использована для прогнозирования значений независимых переменных при известных значениях факторов. Кроме этого проводится оценка статистической значимости как самой модели, так и предикторов, входящих в ее состав.

Например, зная запланированные на следующий месяц объемы скидок, уровни цен, затраты на проведение рекламных акций и т.д., можно получить предполагаемый уровень продаж и его доверительный интервал, подставив соответствующие значения в уравнение зависимости.

В состав STATISTICA Base входят следующие процедуры и модули:

• Графические инструменты STATISTICA

• Основные статистики и таблицы

• Множественная линейная регрессия

• Дисперсионный анализ

• Непараметрическая статистика

• Подгонка распределений

Линейные и Нелинейные Модели STATISTICA - STATISTICA Advanced Linear/Non-Linear Models (дополнительный продукт) – значительно расширяет возможности STATISTICA Base, позволяя перейти от построения простейших линейных регрессионных моделей к более общим и сложным нелинейным моделям, которые обеспечивают более точное моделирование рынка. Например, в модель могут входить не только сами факторы, но и их различные функциональные преобразования. Для построения подобных моделей доступны модули Общие линейные и нелинейные модели, Общие регрессионные модели, Нелинейное оценивание и др.

Кроме этого, при построении нелинейных моделей появляется возможность нахождения оптимальных значений факторов, при которых будут достигаться наиболее желательные значения зависимой переменной (например, максимальные объемы продаж). Для этого используются специальные оптимизационные алгоритмы и графические методы, например, инструмент Профили желательности.

Модуль Временные ряды и прогнозирование, также входящий в блок Линейные и Нелинейные Модели STATISTICA, широко используется для построения прогнозов временных рядов без привлечения сопутствующих факторов, т.е. для прогнозирования поведения ряда на основе его собственной истории. Модуль включает наиболее эффективные и популярные методы анализа и прогнозирования временных рядов, такие как экспоненциальное сглаживание, модель авторегрессии и скользящего среднего, сезонная декомпозиция, спектральный анализ Фурье и другие. Для каждого из методов имеется большое число настроек, что позволяет наилучшим образом адаптировать его под исследуемый временной ряд.

При исследовании временных рядов часто очень эффективными оказываются графические и описательные методы анализа, большинство из которых для удобства интегрированы в модуль Временные ряды и прогнозирование. Модуль также содержит полный набор средств для проведения всевозможных преобразований временных рядов, таких как взятие разности различных порядков (исследование изменчивости ряда), сглаживание ряда (обнаружение тенденций в поведении ряда), выделение тренда (выделение детерминированной систематической составляющей ряда), вычисление автокорреляционных и кросскорреляционных функций, а также построение их графиков (коррелограмм).

Процедура Анализ распределенных лагов, представленная в модуле, позволяет исследовать запаздывающие влияния сопутствующих факторов на изучаемый временной ряд. Например, при анализе зависимости между фактором рекламных акций и объемом продаж логично предположить, что реклама может подействовать не моментально, а через некоторое время. Как раз при решении подобных задач может быть применена эта процедура, она позволит выявить наличие зависимости и определить, через какое время следует ожидать "отдачи" от рекламы.

Большинство методов модуля Временные ряды и прогнозирование благодаря объектной модели системы STATISTICA и наличию встроенного языка программирования STATISTICA Visual Basic легли в основу комплексного программного решения «Sales-Forecast» для автоматического прогнозирования большого количества временных рядов продаж.

Система допускает гибкие настройки формата исходных данных, требований к вычислительным ресурсам, а также сложности и количества используемых моделей. Основное достоинство системы автоматического прогнозирования состоит в том, что все вычисления, связанные с оптимизацией прогностических моделей перекладываются на компьютер. Это, впрочем, никак не исключает возможность внесения аналитиком экспертных поправок. Хотя в большинстве задач вычислительные алгоритмы оказываются значительно более эффективными.

В состав блока Линейные и Нелинейные Модели STATISTICA входят следующие модули:

• Общие линейные модели

• Обобщенные линейные и нелинейные модели

• Общие регрессионные модели

• Общие модели частных наименьших квадратов

• Компоненты дисперсии

• Анализ выживаемости

• Нелинейное оценивание

• Множественная нелинейная регрессия

• Логлинейный анализ таблиц частот

• Временные ряды и прогнозирование

• Моделирование структурными уравнениями

Многомерные разведочные технологии анализа STATISTICA - Multivariate Exploratory Techniques (дополнительный продукт) - предоставляет широкий выбор разведочных технологий анализа различных типов данных в сочетании с богатыми интерактивными средствами визуализации.

Модули этого блока могут быть использованы при решении задач, связанных с сегментацией исходных объектов в данных, снижением размерности данных, задач классификации и др. Применение многомерных статистических методов анализа позволяет снизить трудоемкость решения задачи прогнозирования.

Модуль Кластерный анализ позволяет разбить исходную, вообще говоря, неоднородную совокупность объектов на максимально однородные группы, или кластеры. Например, в крупных торговых сетях ассортимент продаваемых товаров насчитывает тысячи единиц. Анализ и прогнозирование каждого временного ряда по-отдельности не представляются возможными в связи с высокой трудоемкостью такого подхода. Мы можем разбить все множество временных рядов на однородные кластеры, которые будут содержать ряды, обладающие сходной динамикой, после чего анализировать уже не отдельные ряды, а целые кластеры. Таким образом, значительно (иногда в десятки раз) снижается размерность задачи, а следовательно и трудоемкость прогнозирования продаж.

Кроме этого, можно кластеризовать временные ряды исходя из абсолютных значений оборота по каждому из товаров, и выделить товары, продажи которых приносят наибольшую прибыль. Как показывает опыт, часто около 20% ассортимента обеспечивают 80% оборота (так называемый принцип Парето).

Блок Многомерные разведочные технологии анализа STATISTICA включает в себя следующие модули:

• Кластерный анализ

• Факторный анализ

• Анализ главных компонент и классификация

• Канонический анализ

• Надежность и Позиционный анализ

• Деревья классификации

• Анализ соответствий

• Многомерное шкалирование

• Дискриминантный анализ

• Общие модели дискриминантного анализа

Резюме

Задача как можно более точного и оперативного прогнозирования продаж является одной из наиболее важных для многих компаний (особенно для представителей сектора розничной торговли). И инвестиции в это направление при правильном подходе окупаются очень быстро.

Современные аналитические пакеты (например, пакет STATISTICA) предлагают широкое многообразие методов для анализа и прогнозирования временных рядов продаж. Однако при большом ассортименте продукции подход, при котором рассматривается каждый ряд в отдельности, проводится его детальный анализ и построение прогноза, становится практически не осуществимым.

В связи с этим применяются другие подходы к решению этой задачи. Один из них – использование методов сегментации, часто позволяющих значительно понизить размерность задачи.

Более же перспективным и надежным подходом, по-видимому, является использование программных решений, автоматизирующих процесс построения прогнозов и максимально использующих вычислительные ресурсы компьютера. В этом случае происходит перебор большого числа всевозможных моделей, из которых затем выбирается оптимальная, наилучшим образом описывающая и прогнозирующая временной ряд модель.

Программный продукт такого класса, система «Sales-Forecast», создан в компании StatSoft. В его основу легли современные методы прогнозирования, реализованные в пакете STATISTICA. Это решение было внедрено в нескольких компаниях-клиентах и показало высокую точность прогнозирования и приемлемое время проведения вычислений. Это совершенный инструмент снижения трудоемкости и автоматизации решения актуальной задачи прогнозирования продаж.

За более подробной информацией о системе «Sales-Forecast» и современных методах прогнозирования Вы можете обратиться к специалистам StatSoft.

Другие проекты StatSoft Russia