قصهٔ جست‌وجویی که هنوز اتفاق نیفتاده

۱دو تاریخ در هر جست‌وجو

قبل از هر مدلی، باید یک چیز را دید: هر ردیف داده دو تاریخ دارد، نه یکی.

در داده‌های ما هر جست‌وجو دقیقاً همین دو تاریخ را دارد:

ستون سوم را ما ساختیم، ولی مهم‌ترین ستون کل پروژه است. به آن lead time یا «فاصلهٔ تا اقامت» می‌گوییم.

یک کشف ساختاری

وقتی توزیع lead را در دو سال داده حساب کردیم، معلوم شد هیچ‌کس بیشتر از ۵۹ روز قبل جست‌وجو نمی‌کند. هیچ ماهی، هیچ شهری، هیچ استثنایی. این یعنی پنجرهٔ جست‌وجو دقیقاً ۶۰ روز است و بسته است — و همین است که کل کار را ممکن می‌کند.

۲مثلث تأخیر

وقتی دو محور زمانی دارید، داده شکل مثلث پیدا می‌کند. و مثلث یعنی: بخشی را می‌بینید، بخشی را نه.

بیایید برای یک شب مشخص — مثلاً ۲۸ آذر — همهٔ جست‌وجوهایش را روی یک خط بچینیم، از دورترین (۵۹ روز قبل) تا نزدیک‌ترین (خودِ همان روز). حالا ما در ۳۰ آبان ایستاده‌ایم، یعنی ۲۸ روز مانده به آن شب.

جست‌وجوهایی که leadشان بیشتر از ۲۸ است، قبلاً اتفاق افتاده‌اند و در فایل ما هستند. جست‌وجوهایی که lead کمتری دارند، هنوز نیامده‌اند. برای هر شبِ آذر همین اتفاق می‌افتد، ولی با برش متفاوت — و وقتی همهٔ شب‌ها را کنار هم بگذارید، یک مثلث می‌بینید.

وقتی همین ساختار را روی آذر پارسال آزمودیم، عدد درآمد: در روز پیش‌بینی، ۲۹٫۸٪ تقاضا از قبل معلوم بود و ۷۰٫۲٪ هنوز نیامده بود. یعنی صرفاً با همین تقسیم‌بندی، یک‌سوم مسئله قبل از هر محاسبه‌ای حل می‌شود.

۳منحنی تکمیل

اگر بدانیم «معمولاً چند درصد تقاضا تا این فاصله آمده»، می‌توانیم از بخش دیده‌شده کل را حدس بزنیم.

چرا برای هر شهر جدا؟

چون سرعت تصمیم‌گیری مردم برای شهرهای مختلف فرق دارد. و این تفاوت تصادفی نیست — به انگیزهٔ سفر برمی‌گردد:

یعنی وقتی برای کیش پیش‌بینی می‌کنیم، تقریباً نصف جواب در دستمان است. برای چالوس فقط یک‌پنجم. به همین دلیل هم دقت مدل روی کیش و قشم بهتر از چالوس است — و این یک ضعف مدل نیست، ویژگی خودِ مسئله است.

۴معیار WAPE

معیاری که با آن نمره می‌گیریم، شکل مدل را تعیین می‌کند — نه برعکس.

یعنی همهٔ خطاها را بدون علامت جمع می‌کنیم و بر کل تقاضا تقسیم می‌کنیم. عدد ۰٫۱۸ یعنی «مجموع خطاهای ما ۱۸٪ کل تقاضاست».

یک نکته که همه‌چیز را عوض می‌کند

چون مخرج ثابت است، کم‌کردن WAPE یعنی کم‌کردن مجموع قدرمطلق خطا. و این با کم‌کردن مجموع مربع خطا فرق دارد.

نتیجهٔ عملی دوم

چون مخرج یکی است، سهم هر شهر در نمره به اندازهٔ حجمش است. بیست شهر اول ۷۹٪ کل جست‌وجوها را دارند و ۱۲۱ شهر آخر روی‌هم کمتر از ۰٫۰۳٪. پس خطای مطلق روی تهران هزار برابر مهم‌تر از خطای نسبی روی یک روستاست.

۵بک‌تست و نشت اطلاعات

چطور بفهمیم مدل واقعاً کار می‌کند، وقتی جواب واقعی هنوز وجود ندارد؟

فایل evaluation.csv وسوسه‌انگیز است: به نظر می‌رسد «جواب» است. ولی نیست. آن فایل فقط همان ۳۰٪ محقق‌شده است، نه تقاضای نهایی. اگر مدل را با آن بسنجیم، مدلی برنده می‌شود که ۳۰٪ واقعیت را خوب بزند.

راه‌حل: بازپخش تاریخ

ما دو سال داده داریم و برای گذشته می‌دانیم تقاضای نهایی چه شد. پس می‌رویم عقب، در یک تاریخ گذشته می‌ایستیم، وانمود می‌کنیم فقط همان‌قدر داده داریم، ۳۰ روز بعد را پیش‌بینی می‌کنیم، و با حقیقتِ معلوم مقایسه می‌کنیم.

۶ویژگی و مدل

مدل چه چیزهایی می‌بیند، و چطور از آن‌ها به عدد می‌رسد.

مدل ما حدود ۶۰ ویژگی می‌بیند، در پنج خانواده:

گرادیان بوستینگ به زبان ساده

یک ترفند که فقط اینجا مجاز است

دامنهٔ تقاضا از صفر تا صدها هزار است. برای رام‌کردنش روی log1p آموزش می‌دهیم. معمولاً این کار سوگیری ایجاد می‌کند و باید تصحیح شود — ولی چون معیار ما میانه‌محور است و میانه زیر تبدیل‌های یکنوا تغییر نمی‌کند، اینجا برگرداندن بدون هیچ تصحیحی دقیق است.

۷کالیبراسیون و عدم قطعیت

تفاوت «خطا» با «سوگیری»، و اینکه عدد تنها کافی نیست.

مدل ما در همهٔ فولدهای ۱۴۰۴ بین ۳٪ تا ۱۹٪ کم می‌زند، در سالی که بازار ۲۵ تا ۳۷ درصد رشد کرده. طبیعی است که آدم بخواهد تصحیحش کند. ما آزمودیمش: ضریبی که WAPE را کمینه می‌کند فقط ۱٫۰۴ است — نه ۱٫۱۵ که برای صفرکردن سوگیری لازم است — و دو فولد از چهار فولد را بدتر می‌کند. پس اعمالش نکردیم.

چندک و پوشش

وقتی پوشش بازه‌های خام‌مان را اندازه گرفتیم، معلوم شد فقط ۵۳٪ تقاضا را پوشش می‌دهند، نه ۸۰٪. یعنی برای شهرهای بزرگ خیلی باریک بودند. بازه را روی فولدهای کنارگذاشته‌شده پهن کردیم تا به ۸۰٪ برسد.

۸شوک

بعضی هفته‌ها فصلی نیستند و هرگز هم نخواهند بود.

خرداد ۱۴۰۴ نسبت به خرداد ۱۴۰۳ شصت درصد بالاتر بود، درحالی‌که ماه‌های اطرافش ۷ تا ۲۷ درصد رشد داشتند. علتش جنگ خرداد بود — و واکنش بازار جهش بود نه سقوط: مردم از تهران خارج شدند و در شهرهای دیگر دنبال اقامتگاه گشتند.

ما این پنجره‌ها را به‌جای اینکه مدل «یاد بگیرد»، صراحتاً اعلام می‌کنیم؛ در یک جدول ساده که هر وقت لازم شد می‌شود ویرایشش کرد. هر شوک سه پرچم جدا می‌دهد، چون سه چیز مختلف را می‌تواند آلوده کند: خودِ شب اقامت، مقایسه با پارسال، و منحنی رزرو.

۹سرعت رزرو

همان تجزیه‌ای که پیش‌بینی می‌سازد، یک ابزار عملیاتی روزانه هم می‌دهد.

ستون سوم نکتهٔ عملیاتی است: برای کیش باید ده روز قبل تبلیغ کرد، برای چالوس سه روز قبل. همان بودجه، با تقویم متفاوت، اثر متفاوت.

۱۰واژه‌نامه

همهٔ اصطلاحات، یک‌جا. برای وقتی که وسط ارائه سؤالی پرسیده می‌شود.