00小说网 > 都市言情 > 股海弄潮 > 第243章:“过度拟合”的幽灵 美丽的陷阱
最新网址:www.00shu.la
    那个夏夜,崩溃的陆方

    2010年7月23日,星期五,晚上九点四十分。

    车公庙,三十平米的办公室里,只有一盏灯亮着。

    陆方一个人坐在电脑前,屏幕的蓝光映在他脸上,让那张本来就瘦削的脸显得更加苍白。桌上摆着三个已经空了的能量饮料罐,还有一个咬了一半的面包——那是下午赵姐买的,他忘了吃完。

    他已经连续坐了十四个小时。

    从早上七点到现在,除了上厕所,没有离开过这把椅子。

    但此刻,他的脸上没有疲惫。

    只有一种奇怪的、近乎亢奋的光。

    屏幕上,是一条刚刚跑完的回测曲线。

    蓝色的线从2005年1月开始,以几乎45度的斜率,稳步向上。没有大的回撤,没有剧烈的波动,没有让人心惊肉跳的悬崖。只是一条平滑的、优美的、近乎完美的上升直线。

    最终,那条线停在了2010年7月的末端。

    数字是:2.87

    年化收益:32.4%

    最大回撤:8.7%

    夏普比率:2.3

    陆方盯着那条线,盯了很久。

    然后他靠在椅背上,长出一口气。

    两个多月。

    从数据清洗到因子测试,从组合构建到状态识别,从交易成本模型到参数优化——他几乎把所有能试的参数组合都试了一遍。

    现在,终于得到了这条线。

    完美。

    他站起来,走到窗边,看着外面的夜色。

    车公庙的夜晚,比白天安静一些。楼下的小餐馆还亮着灯,有人在吃宵夜。远处,深南大道上的车流稀疏了,偶尔有车驶过,留下一道短暂的光痕。

    他忽然想抽根烟。虽然他不抽烟。

    就在这时候,门开了。

    周寻走进来。

    他手里拿着一本书,显然是刚从家里过来——穿着一件旧T恤,头发乱糟糟的。他看到陆方站在窗边,愣了一下。

    “还没走?”

    陆方转过身,脸上带着一种压抑不住的兴奋。

    “周老师,你来得正好。给你看个东西。”

    他走回电脑前,指着那条蓝色的曲线。

    周寻走过来,低头看。

    五秒。

    十秒。

    十五秒。

    陆方等着他说话。等着他说“不错”,或者“很好”,或者至少点点头。

    但周寻没有说话。

    他只是盯着那条线,眉头慢慢皱起来。

    又过了十秒。

    周寻终于开口,声音很低,像是从牙缝里挤出来的:

    “这条线,你跑出来的?”

    陆方点头,语气里带着一丝得意:

    “参数调了三个星期。把动量因子的回溯期从6个月优化到5个月零3周,把估值因子的阈值从30%分位数调整到27.5%,把状态识别的波动率阈值从90%分位数改成88%……”

    他还在继续说着那些优化的细节。

    但周寻已经没在听了。

    他的脸色,正在以一种肉眼可见的速度,变得难看。

    “陆方。”他打断他。

    陆方停下,看着他。

    周寻指着那条线:

    “你知道这是什么吗?”

    陆方愣了一下:“什么?”

    周寻没有回答。

    他走到另一台电脑前,打开一个程序,调出另一条曲线——那是沪深300指数同期走势。指数从2005年的1000点,涨到2007年的6000点,跌到2008年的1700点,再震荡到2010年的2500点。

    大起大落,跌宕起伏。

    然后他指着陆方那条“完美”的线:

    “你看,市场这么大起大落,你的策略却能一路向上,几乎不回撤。这可能吗?”

    陆方张了张嘴,没发出声音。

    周寻继续说:

    “你知道在真实的市场上,要做出不回撤的策略,有多难吗?巴菲特的最大回撤都超过50%。西蒙斯的大奖章基金,也有20%以上的回撤。”

    他盯着陆方:

    “你现在告诉我,你用几个简单的因子,调了几个参数,就做出了最大回撤8.7%的完美策略?”

    陆方的脸色开始变了。

    他刚才的兴奋,正在一点点褪去。

    “周老师,你是说……”

    周寻没有直接回答。

    他走到白板前,拿起笔,画了一个简单的图:

    ```

    真实世界:信号 + 噪声 = 价格波动

    ↓ ↓

    可预测 不可预测

    ```

    他指着这张图:

    “真实的市场,由两部分组成:信号和噪声。信号是有规律的,可以用模型捕捉。噪声是随机的,无法预测。”

    他又画了一个图:

    ```

    过度拟合:信号 + 噪声 = 完美拟合

    ↓

    连噪声一起拟合

    ```

    “过度拟合,就是你的模型太聪明了,聪明到连噪声都学会了。它在历史数据上表现完美,因为那些噪声被它记住了。但未来呢?未来的噪声是全新的,和过去完全不一样。”

    他放下笔,看着陆方:

    “你的模型,现在就是这样。它在历史上表现完美,是因为它记住了那些不该记住的东西。明天市场一换噪声,它就会崩溃。”

    陆方站在原地,一动不动。

    他的脸,从苍白变成灰白。

    三个星期。

    整整三个星期,他每天只睡四五个小时,一遍一遍地调参数,一遍一遍地跑回测。他把所有能试的组合都试了,终于找到一组让曲线完美的参数。

    现在周寻告诉他,这条线,是假的。

    “周老师,”他的声音有些发涩,“你怎么看出来的?”

    周寻走回电脑前,指着那条线:

    “你看,这里。”他指着2008年的那段,“市场暴跌,指数跌了70%。你的策略,只回撤了5%。”

    他顿了顿:

    “你知道这意味着什么吗?意味着你的策略,几乎完美地避开了2008年的所有下跌日。它精准地在下跌前卖出,在上涨前买入。”

    他看着陆方:

    “这可能吗?如果真有这样的策略,为什么全世界只有你找到了?”

    陆方没有说话。

    周寻继续说:

    “还有这里,2009年的反弹。市场一波三折,上上下下。你的策略,一路向上,没有一次像样的回撤。这意味着它完美地抓住了每一个上涨日,避开了每一个下跌日。”

    他叹了口气:

    “陆方,这不是策略。这是童话。”

    陆方跌坐回椅子上。

    他看着那条蓝色的曲线,那条他看了三个星期的、完美的、美丽的曲线。

    现在,那条线在他眼里,变得刺眼起来。

    像一个谎言。

    “那……那我这些参数……”他的声音开始发抖。

    周寻走到他身边,手放在他肩上:

    “那些参数,没有意义。你调出来的那些数字——5个月零3周,27.5%,88%——它们只对历史有效。换一个样本区间,这些数字就会变成垃圾。”

    他看着陆方:

    “这叫‘参数过拟合’。参数越多,拟合越精细,泛化能力越差。”

    陆方低下头。

    他的肩膀在抖。

    周寻没有再说话。

    他只是在旁边站着。

    房间里很安静。只有空调的嗡嗡声,和窗外偶尔传来的汽车声。

    过了很久,陆方抬起头。

    他的眼眶红了,但没有哭。

    “周老师,”他问,“那我这三个星期,白干了?”

    周寻看着他。

    这个平时沉默寡言、只爱写代码的年轻人,此刻眼里有一种他从未见过的东西——不是愤怒,不是沮丧,是一种更深的、近乎绝望的空洞。

    “不是白干。”周寻说,“你学到东西了。”

    陆方苦笑了一下:

    “学到什么?学到不能相信自己的眼睛?”

    “学到过度拟合是什么。”周寻说,“有些人做量化一辈子,都没真正理解过度拟合。他们一直在跑漂亮的回测,然后实盘亏得倾家荡产。”

    他看着陆方:

    “你今天,用三个星期,交了这笔学费。值。”

    陆方没有说话。

    他只是看着那条蓝色的线。

    看了很久。

    然后他伸手,关掉了屏幕。

    那条完美的曲线,消失在黑暗中。

    ---

    晚上十点半,陈默赶到办公室。

    他接到周寻的电话,说陆方出事了,就立刻从家里赶过来。

    推门进来时,陆方还坐在电脑前,低着头。周寻站在窗边,看着外面的夜色。

    “怎么了?”陈默问。

    周寻把事情简单说了一遍。

    陈默听完,走到陆方面前,蹲下来。

    “陆方。”

    陆方抬起头。

    他的眼睛红红的,但没有哭。

    “陈总,”他的声音沙哑,“我……我错了。”

    陈默摇了摇头:

    “你没错。你只是想做出最好的策略。”

    他看着陆方:

    “三个星期,每天只睡四五个小时,一遍一遍跑回测。这种投入,我见过的人里,没几个。”

    陆方愣住了。

    “可是……可是我的策略是假的……”

    “假的是策略,不是你的努力。”陈默说,“你努力的方向错了,但努力本身没有错。”

    他站起来,看着那台已经黑屏的电脑:

    “周寻说,你学到了过度拟合。你知道有多少人,一辈子都没学会这个吗?”

    他顿了顿:

    “他们要么一直在跑漂亮的回测,然后实盘亏得倾家荡产。要么根本不相信任何回测,完全凭感觉做投资。你属于哪一种?”

    陆方沉默了几秒。

    然后他说:

    “我想……我想学会怎么看穿过度拟合。”

    陈默点头:

    “那就对了。”

    他转身看着周寻:

    “周寻,你教他。怎么识别过度拟合,怎么防范,怎么建立检验流程。”

    周寻点头。

    陈默又看向陆方:

    “这三个星期,没白干。你让我看到一件事——”

    他顿了顿:

    “我们这个团队,有愿意拼命的人。”

    陆方看着他,眼睛里的空洞,慢慢被另一种东西填满。

    不是兴奋。

    是一种更沉的东西。

    是被理解后的踏实。

    ---

    深夜十一点,三个人站在那间三十平米的办公室里。

    窗外的车公庙,已经彻底安静下来。只有远处偶尔传来的汽车声,证明这座城市还在运转。

    周寻在白板上写了一行字:

    “过度拟合防范指南(草稿)”

    下面列了几条:

    1. 限制参数数量——每个参数必须有明确的经济含义

    2. 样本外测试——永远留一段没用过的数据做最终验证

    3. 交叉验证——在不同时间段、不同股票池上重复测试

    4. 简化原则——在效果相近时,选参数更少的模型

    5. 怀疑完美——任何回撤极小、收益极高的策略,先假设它有问题

    陆方看着这几条,默默地记在心里。

    陈默站在他旁边,轻声说:

    “陆方,你知道周寻为什么一眼就能看出你的线有问题吗?”

    陆方摇头。

    “因为他见过。”陈默说,“他自己也走过这条路。在华尔街的时候,他一定也跑出过这种‘完美’的线,然后实盘亏过钱。”

    他看着周寻:

    “对吧?”

    周寻沉默了几秒,然后点了点头。

    “2007年。”他说,“我做了一个策略,回测夏普比率2.8,最大回撤7%。老板说要投1个亿。我说再等等,再测测。结果还没测完,市场风格就变了。那个策略,再也没跑赢过。”

    他看着陆方:

    “所以我知道,这种线,是陷阱。”

    陆方听着,忽然觉得自己没那么孤单了。

    原来周寻也走过这条路。

    原来每个人,都要交这笔学费。

    “周老师,”他问,“那我们现在怎么办?”

    周寻想了想:

    “从明天开始,重新跑。但这次,跑的是‘简化版’。”

    他走到白板前,在“简化原则”下面画了一条线:

    “把所有你优化的参数,都改回最简单的整数。6个月,30%,90%。跑一遍。如果简化版的收益比优化版低不了太多,那说明你优化出来的那些参数,可能是过拟合的。”

    他看着陆方:

    “这叫‘奥卡姆剃刀’。在效果相近的情况下,简单的比复杂的好。”

    陆方点头。

    他站起来,走到电脑前。

    屏幕还黑着。

    他伸手,按下了开机键。

    “现在开始。”他说。
最新网址:www.00shu.la