Het is voor elke beoefenaar volkomen duidelijk, maar het moet herhaald worden voor academici die claims in financiën maken. 1. De enige out-of-sample prestatie die ertoe doet, is live. Geen serieuze persoon gelooft dat je *nooit* de holdout-sample hebt hergebruikt. En herinner je Gelman’s kritiek: als een ensemble van auteurs (noem het The Meta-Author), hergebruik je intrinsiek de holdout-sample. Goede prestaties op papier zijn onvermijdelijk. 2. Bij het gebruik van maandelijkse rendementen voor diepe series van CRSP, doet de bied- en laatspread er toe. Wees voorzichtig hoe je rendementen schat. Sluitingsprijzen en gemiddelde prijzen zijn de verkeerde manier om dat aan te pakken. 3. Voor diepe series: leenkosten kunnen het verschil maken. Zelfs voor ondiepe series. 4. "Robuustheidscontroles" op illiquide, microcaps, enz. zijn een soort grap. Ze verminderen al de backtested prestaties, maar een impactmodel is altijd slechter dan je denkt. 5. Betreffende marktimpact: je moet simuleren op een economisch significante grootte. Of adverteer je de prestaties van je $100k PA? 6. En omloop is niet allemaal gelijk. Een jaarlijkse omloop van 12x op maandelijkse herbals is niet hetzelfde als dezelfde omloop in een dagelijkse herbalstrategie. 7. En voeg financieringskosten toe. Het verleden leeft niet in een spread van 50bps. 8. Je *moet* het gemiddelde rendement op GMV en %vol rapporteren, evenals omloop en een impactschatting. Als je een SR van 3 hebt op een 2% ret/GMV, heb je geen SR van 3. Er zijn veel andere kleine problemen die niet in me opkomen, zoals delistingen, belastbare dividenden (% van bedrijven die dividenden uitkeren is niet-stationair) en belastingkwesties in het algemeen. Maar dit is een startpunt (en ik wacht om aan boord te gaan van een vlucht). Het is voldoende om een SR=3 strategie om te zetten in een SR=-1. Wij mensen zijn geboren om te lijden, niet om tenure te krijgen.