Informe de resultados de un sistema

[Dyla]

Buenos días,
He hecho un sistema para el par EURUSD, el cual trabaja en TF de 30M .
El sistema me sale que es robusto, pero no estoy muy convencido porque realiza pocos trades (unos dos por mes, mas o menos).
Los trades duran bastantes días también.
El informe que adjunto son los resultados all data y out sample, para un periodo de cinco años.
Los resultados para diez años también me salen buenos.


RESULTADOS ALL DATA
All Trades
Total Net Profit $3,896.13
Gross Profit $9,584.25
Gross Loss ($5,688.12)
Profit Factor 1.68

Roll Over Credit ($53.37)
Open Position P/L $99.45

Select Total Net Profit $3,896.13
Select Gross Profit $9,584.25
Select Gross Loss ($5,688.12)
Select Profit Factor 1.68

Adjusted Total Net Profit $1,671.03
Adjusted Gross Profit $8,087.44
Adjusted Gross Loss ($6,416.41)
Adjusted Profit Factor 1.26

Total Number of Trades 102
Percent Profitable 40.20%
Winning Trades 41
Losing Trades 61
Even Trades 0

Avg. Trade Net Profit $38.20
Avg. Winning Trade $233.76
Avg. Losing Trade ($93.25)
Ratio Avg. Win:Avg. Loss 2.51
Largest Winning Trade $762.14
Largest Losing Trade ($217.91)
Largest Winner as % of Gross Profit 7.95%
Largest Loser as % of Gross Loss 3.83%

Net Profit as % of Largest Loss 1,787.95%
Select Net Profit as % of Largest Loss 1,787.95%
Adjusted Net Profit as % of Largest Loss 766.85%

Max. Consecutive Winning Trades 4
Max. Consecutive Losing Trades 11
Avg. Bars in Total Trades 486.22
Avg. Bars in Winning Trades 790.07
Avg. Bars in Losing Trades 281.98
Avg. Bars in Even Trades 0.00

Max. Shares/Contracts Held 10,000
Total Shares/Contracts Held 1,030,000
Account Size Required $1,750.63
Total Slippage $0.00
Total Commission $204.00

Return on Initial Capital 3.90%
Annual Rate of Return 0.91%
Buy & Hold Return -19.82%
Return on Account 222.56%
Avg. Monthly Return $82.95
Std. Deviation of Monthly Return $307.91

Return Retracement Ratio 1.07
RINA Index 52.91
Sharpe Ratio -0.29
K-Ratio n/a

Trading Period 4 Years, 2 Months, 12 days, 14 hours, 59 Minutes
Percent of Time in the Market 96.82%
Time in the Market 4 Years, 24 days, 18 hours, 28 Minutes
Longest Flat Period 11 days, 5 hours, 30 Minutes

Max. Equity Run-up $4,679.45
Max. Equity Run-up as % of Initial Capital 4.68%

Max. Drawdown (Intra-day Peak to Valley)
Value ($1,907.79)
as % of Initial Capital 1.91%
Net Profit as % of Drawdown 204.22%
Select Net Profit as % of Drawdown 204.22%
Adjusted Net Profit as % of Drawdown 87.59%

Max. Drawdown (Trade Close to Trade Close)
Value ($1,750.63)
Date 08/19/14 15:30
as % of Initial Capital 1.75%
Net Profit as % of Drawdown 222.56%
Select Net Profit as % of Drawdown 222.56%
Adjusted Net Profit as % of Drawdown 95.45%

Max. Trade Drawdown ($242.57)


RESULTADOS OUT SAMPLE


All Trades


Total Net Profit $3,172.81
Gross Profit $4,078.93
Gross Loss ($906.12)
Profit Factor 4.50

Roll Over Credit ($4.39)
Open Position P/L $99.45

Select Total Net Profit $3,172.81
Select Gross Profit $4,078.93
Select Gross Loss ($906.12)
Select Profit Factor 4.50

Adjusted Total Net Profit $1,754.98
Adjusted Gross Profit $2,947.64
Adjusted Gross Loss ($1,192.66)
Adjusted Profit Factor 2.47

Total Number of Trades 23
Percent Profitable 56.52%
Winning Trades 13
Losing Trades 10
Even Trades 0

Avg. Trade Net Profit $137.95
Avg. Winning Trade $313.76
Avg. Losing Trade ($90.61)
Ratio Avg. Win:Avg. Loss 3.46
Largest Winning Trade $762.14
Largest Losing Trade ($178.74)
Largest Winner as % of Gross Profit 18.68%
Largest Loser as % of Gross Loss 19.73%

Net Profit as % of Largest Loss 1,775.10%
Select Net Profit as % of Largest Loss 1,775.10%
Adjusted Net Profit as % of Largest Loss 981.86%

Max. Consecutive Winning Trades 4
Max. Consecutive Losing Trades 4
Avg. Bars in Total Trades 647.22
Avg. Bars in Winning Trades 835.08
Avg. Bars in Losing Trades 403.00
Avg. Bars in Even Trades 0.00

Max. Shares/Contracts Held 10,000
Total Shares/Contracts Held 240,000
Account Size Required $435.68
Total Slippage $0.00
Total Commission $46.00

Return on Initial Capital 3.17%
Annual Rate of Return 0.74%
Buy & Hold Return -14.92%
Return on Account 728.24%
Avg. Monthly Return $204.53
Std. Deviation of Monthly Return $309.85

Return Retracement Ratio 7.26
RINA Index 118.23
Sharpe Ratio 0.11
K-Ratio n/a

Trading Period 4 Years, 2 Months, 12 days, 14 hours, 59 Minutes
Percent of Time in the Market 30.66%
Time in the Market 1 Year, 3 Months, 12 days, 10 hours, 59 Minutes
Longest Flat Period 6 days, 20 hours, 30 Minutes

Max. Equity Run-up $3,967.48
Max. Equity Run-up as % of Initial Capital 3.97%

Max. Drawdown (Intra-day Peak to Valley)
Value ($733.43)
as % of Initial Capital 0.73%
Net Profit as % of Drawdown 432.60%
Select Net Profit as % of Drawdown 432.60%
Adjusted Net Profit as % of Drawdown 239.28%

Max. Drawdown (Trade Close to Trade Close)
Value ($435.68)
Date 12/17/14 17:30
as % of Initial Capital 0.44%
Net Profit as % of Drawdown 728.24%
Select Net Profit as % of Drawdown 728.24%
Adjusted Net Profit as % of Drawdown 402.81%

Max. Trade Drawdown ($191.36)


Realmente lo estuve intentando mucho y no consigo sistemas rentables con operaciones estrictamente intradiarias. Al final entre las comisiones (spreads) y las operaciones de pérdidas , el sistema te come.
Estos resultados son con el sistema a falta de ponerle un subcódigo de money management, que supongo que lo mejorarían un poco y otra cosa es que he hecho un pequeño sondeo y parece que va a ir bien para otros pares, eso si cambiando bastante los parámetros.
Se que los resultaos no son espectaculares pero quizás si para formar parte de una cartera con varios sistemas.
Por favor , agradecería opiniones sobre estos resultados.
gracias y saludos

[Espekulador]

El sistema me sale que es robusto, pero no estoy muy convencido porque realiza pocos trades (unos dos por mes, mas o menos).

Hola,



La robustez de un sistema de Trading te la puede dar el SQN = operaciones^0,5 / Sharpe.
Según el teorema de Chebyshev, si SQN > 2^0,5, el sistema es ganador con más de un 50% de probabilidad, sea cual sea la distribución de sus resultados (aunque no sea normal).

Ten encuesta lo siguiente:
1.- Qué la esperanza matemática sea mayor que cero no garantiza que el sistema sea ganador, necesitamos un buen SQN que lo confirme.
2.- Qué la esperanza matemática sea mayor que cero y que el SQN < 1, no garantiza que el sistema sea malo, ya que puede ser que el sistema de un SQN tan bajo porque tenemos pocas operaciones.

Sharpe Ratio -0.29

¿Cómo es que te sale un Sharpe negativo?
¿Es un error de tecleo?

[Dyla]

Hola,
Es cierto que el Ratio Sharpe sale negativo, no es error de teclado
Supongo que será porque es poco beneficio para un periodo de tiempo demasiado largo. Por eso dije que quizás este sistema sería mejor para formar parte de una cartera y no de un sistema individual.
De todas formas,si te fijas en la parte out Sample , el ratio sharpe sale positivo y creo que según la fórmula que das, el sistema también sale robusto.

y con esta aplicación, el sistema me sale robusto.
Pero, a pesar de todo, no sé, lo veo raro y no me fio mucho. Por eso estoy pidiendo opinión.

Gracias por comentar y saludos

[jorsant]

Es cierto que el Ratio Sharpe sale negativo, no es error de teclado
Supongo que será porque es poco beneficio para un periodo de tiempo demasiado largo.

Normalmente, en trading, cuando hablamos de Sharpe nos referimos al Ratio de Sharpe Simplificado, o sea:
SharpeSimplificado = EsperanzaMatemática / DesviaciónTípica.
Así que siempre que la esperanza matemática de un sistema de trading sea positiva, también lo será su Sharpe Simplificado.
Por eso me he extrañado.

Supongo que si tus estadísticas te dan un Sharpe negativo es porque no se refiere al Sharpe simplificado sino al Sharpe a secas, o sea:
Sharpe = (EsperanzaMatemáticaAnual - TipoInterésAnual) / DesviaciónTípicaAnual.

Si el Sharpe (no el Sharpe simplificado) es negativo quiere decir que es preferible invertir en Renta Fija que en el sistema de Trading porque la rentabilidad no compensa.

Si SQN = operaciones^0,5 / SharpeSimplificado = operaciones^0,5 * EsperanzaMatemáticaPorOperación / DesviaciónTípicaPorOperación, ¿qué SQN tiene tu sistema? ¿Mayor o menor que raíz(2)? ¿Mayor o menor que 1?

Si te da menor que 1, tu sistema opera demasiado poco, sus estadísticas no son fiables.
Si te da mayor que raíz(2), estupendo, confía en las estadísticas porque tu sistema tiene suficientes operaciones como para que te las creas.

Porque si tienes Sharpe 0,11, tu Sharpe simplificado será mucho más.



Saludos.

[pejolFX]

Bueno, estas son fórmulas que no estoy acostumbrado a calcular, pero a ver:
La espranza matemática me sale 0,2234

La desviación típica por operación no se como calcularla y no se si se corresponderá a un valor qu me indica el reporte del sistema que pone: "1Std Desviation of Avg Trade" cuyo valor es 280 dólares (out sample)

Estoy usando todos los valores out sample.

Si es así, entonces el SQN me sale muy por debajo de 1 y el sistema no valdría.

Lo que comentas sobre la renta fija, la verdad es que ya lo había pensado yo, debido a que el sistema no genera grandes ganancias. Pero también es cierto que el sistema, las modestas ganancias que genera, puede generarlas con un capital que sea tres veces el DD (por seguridad) más las garantías requeridas por el bróker , por lo que , el sistema en principio podría funcionar con unos 5000 eur .
Según la prueba, el sistema gana una media de 650 eur anuales.
Entonces sería un 13% de rentabilidad , y eso no te lo da ningún banco.
De todas formas como te dije, el sistema sería para formar parte de una cartera además de que falta ponerle el subcódigo de gestión del money.
Por eso lo que mas me interesa, es su robustez , mas que si genera poco aun tratándose de inversión de riesgo.

Gracias y saludos

[Alex01]

Hola buenas tardes.



SQN = raíz cuadrada del numero de trades si estos son menores de 100, redondeo a 10 si son mayores * ganancia media por trade, dividido todo por la desviación típica de los resultados.

Hay otras definiciones, pero esta serviría.

Asi que SQN = 38.2 *10 /desv. típica de todos los datos.

Y asi, iríamos bien...

no sirve coger los datos de out of sample únicamente....

Guille, el sistema se porta bien solo el ultimo año, pero se pasa 4 años haciendo agua....:


all data:
Gross Profit $9,584.25
Gross Loss ($5,688.12)

out of sample:
Gross Profit $4,078.93
Gross Loss ($906.12)

por lo que in sample, seria:

Gross profit 5505.32
Gross Loss 4782.00

o sea un net profit de 723.82 dólares,
en 4 años...

No solo de estadísticas se vive. Y este es un ejemplo claro.

Siempre, es muy importante ver la curva de resultados del sistema. Te indica claramente (si sabes leerla), si es útil, o descartas directamente el sistema sin pasar a hacerle mas pruebas...

Por lo que veo, el sistema se ha pasado mucho tiempo sin dar beneficios, pero con el riesgo en marcha.

Tradres muy largos, siempre dentro sin ser determinante. Si se gasta un TF de 30m, no es para estar siempre dentro.

Perdon por ser tan "insípido" posteando, pero has pedido opiniones, y yo te la doy. Lo descartaría ya, sin continuar trabajándolo. (Es mi opinión, cada cual puede hacer lo que quiera).


Saludos!!

[Dyla]

Gracias,

Llevas razón, pues no presté ningún interés por los datos in.
Y creo que por esto está todo el proceso mal hecho.
Gracias a tu observación creo que el fallo principal está en que para la búsqueda de zonas estables de los parámetros he utilizado la parte out y creo que debería haber utilizado la in.
Si no me equivoco la parte out sample en realidad no hay que utilizarla nada más que para ver como se comporta en ella el sistema y para la selección última de los parámetros.

Por favor, antes de tener que tirar el sistema a la basura me gustaría que me confirmaras esto.
También te agradecería que me dijeras de donde saco la desviación típica de los datos.

Gracias y saludos

[Ironn78]

La búsqueda de parámetros estables, se hace en el in sample, y se valida con el out sample, además, puedes emplear otros activos correlacionados con el que estudias, activos que deben con ligeras variaciones obtener resultados similares.

Si has optimizado utilizando out of sample, esta clarísimamente sobreoptimizado, ya que el numero de trades no permite florituras. (esacasamente 20). Seguro, que no tienes grados de libertad para validar.

Antes has puesto esto:
"..................La desviación típica por operación no se como calcularla y no se si se corresponderá a un valor qu me indica el reporte del sistema que pone: "1Std Desviation of Avg Trade" cuyo valor es 280 dólares (out sample)............."

utiliza lo mismo, pero para todos los trades del sistema. Supongo que será ese dato, pero el " all data"

si tienes 10 años de histórico, utilizalos todos. Te hara falta saber su comportamiento en el 2008, que fue un año "estresado".

Una forma rápida de ver si el sistema es "validable", es trazar un segmento entre el inicio, y el final, de la curva de profit, del in sample, y hacer lo mismo con el out sample. Si el sistema es robusto, los segmentos tendrán una inclinación parecida (siempre alcista).

Previamente a un walk forward, haría una simulación de Montecarlo. Minimo 200, con diferentes tipologías de simulaciones. Si el sistema es robusto, veras que las simulaciones se mantienen agrupadas en ramillete. Cuanto mas estrecho el ramillete, mas robusto y fiable será la lógica. y de ahí, ya pasaría al walk forward, y optimización.

No obstante, a ver si tenemos suerte, y se pasa por el hilo el forero Gratphil, que es uno de los que mejor sabe explicarse en el tema de validación y testeo de sistemas. (Es todo un maquina, pero de las buenas... )

Yo soy un mero aficionado...

Te contesto hoy porque se que estas trabajando en el sistema el fin de semana, y te interesa respuestas rapidas, para poder continuar. (todos hacemos igual. Nos angustia dar con la solución, y la queremos ya, para ayer... ).

Te daria un par de apuntes con los que igual no has pensado, pero eso mejor el lunes, que el fin de semana, suelo desconectar...

Saludos!!

[colombo]

no te pases que me vas a sacar los colores. Digamos que a mí me interesan los sistemas y construirlos bien, dado que es mi forma de aproximarme al trading, pero de ahí a decir que soy un máquina hay un trecho.

Guille, mucho cuidado con el out of sample, es lo que es, fuera de muestra. Ya hay mucho peligro tratando de hacer las cosas bien de cogerlo de una u otra forma. Por ejemplo si estamos viendo la viabilidad de un sistema en su inicio y vemos como se comporta en toda la serie histórica y en ese momento determinamos el rango de los parámetros a optimizar. Cuando decidas hacer el walk forward ya habrás considerado la parte fuera de muestra al delimitar el rango de los parámetros y por tanto el proceso estará viciado.

Para mí un tema importante que los datos que hayamos obtenido out of sample abarquen un amplio periodo de tiempo, al menos 10 años. Creo que de poco vale tener resultados fuera de muestra de 1 año, como he visto a un divulgador bastante conocido, en las pruebas de sus sistemas. MIs sistemas los elaboro generalmente con time frame diario, quizás con un time frame de 5 minutos necesitaría menos. Y con ese histórico fuera de muestra es con el que obtengo la estadísticas.

Antes de hacer Walk Forward, es conveniente ver que el sistema es solido. Por ejemplo que los resultados son positivos con la mayoría de los valores que puedan tomar los parámetros, que los resultados con los valores optimizados en el resto de los activos de las mismas características son positivos, etc. En tu caso deberías comprobar en el resto de pares de divisas con los parámetros obtenidos para el EURUSD.

Por último, haría la prueba de walk forward a otros pares de divisas con el mismo sistema. Si el sisema es robusto debería funcionar con el resto de pares.

Saludos

[pachi3]

Correcto.
Es que yo tomé la fórmula que viene como "indicador de esperanza" o "índice de esperanza" en el libro de Cárpatos, que yo lo uso bastante como guía, y la fórmula que pone es la que puse, dividiendo las probabilidades ente 100.

Además también me he fijado que el valor de la esperanza matemática coincide con el valor "Avg Trade Net profit" del reporte, con lo que en futuras ocasiones , ya ni me molesto en calcularla.

Me aprovecho de tu amabilidad para preguntarte si la desviación estándar que se aplica en la en la fórmula es la "1Std Deviation of Avg Trade" o la "1Std Deviation" referida al run-up . Es que aunque son muy parecidas , difieren un poco, y por tanto difiere el SQN.

Gracias y saludos

- - - Updated - - -

No soy amante de cumplidos. Si lo dije es porque lo pienso. Puede que sea porque mi mente carbura de la misma forma, pero veo muy lógico lo que haces y dices, y lo dicho. Eres "sistematico". Tienes un manual de "calidad" al efectuar tus sistemas, y sus pruebas de validez. Eso, al menos yo lo he visto. Supongo que mas gente se habrá perado. Vamos, que no creo haber descubierto las americas, y también tengo claro, que soy mucho mas "anarquico", en mis explicaciones o peroratas. Pero no tengo remedio... :lol: :lol:

Saludos!!