Media Móvil Centrada En R

David, Sí, MapReduce está diseñado para operar en una gran cantidad de datos. Y la idea es que en general, el mapa y las funciones de reducción no deberían cuidar cuántos mapeadores o cuántos reductores hay, esa es sólo la optimización. Si piensas cuidadosamente sobre el algoritmo que publiqué, puedes ver que no importa qué asignador obtiene qué partes de los datos. Cada registro de entrada estará disponible para cada operación de reducción que lo necesite. Ndash Joe K Sep 18 12 at 22:30 En el mejor de mi entendimiento el promedio móvil no está bien mapas al paradigma de MapReduce ya que su cálculo es esencialmente la ventana deslizante sobre datos ordenados, mientras que MR es el procesamiento de los rangos no intersectados de los datos ordenados. Solución que veo es como sigue: a) Para implementar particionador personalizado para poder hacer dos particiones diferentes en dos ejecuciones. En cada ejecución, los reductores obtendrán diferentes rangos de datos y calcularán el promedio móvil cuando sea apropiado. Voy a tratar de ilustrarlo: En la primera ejecución, los datos de los reductores deberían ser: R1: Q1, Q2, Q3, Q4 R2: Q5, Q6, Q7, Q8 . Aquí usted cacluate el promedio móvil para algunos Qs. En la próxima ejecución, los reductores deberían obtener datos como: R1: Q1. Q6 R2: Q6. Q10 R3: Q10..Q14 Y caclular el resto de promedios móviles. A continuación, tendrá que agregar los resultados. Idea de particionista personalizado que tendrá dos modos de funcionamiento - cada vez que se divide en rangos iguales, pero con algún cambio. En un pseudocódigo se verá así. Partición (keySHIFT) / (MAXKEY / numOfPartitions) donde: SHIFT se tomará de la configuración. MAXKEY valor máximo de la clave. Supongo que por simplicidad empiezan con cero. RecordReader, IMHO no es una solución ya que se limita a la división específica y no se puede deslizar sobre el límite de divisiones. Otra solución sería implementar la lógica personalizada de dividir datos de entrada (es parte del InputFormat). Se puede hacer para hacer 2 diapositivas diferentes, similar a la partición. En la segunda columna de esta tabla, se muestra una media móvil de orden 5, proporcionando una estimación del ciclo de tendencias. El primer valor en esta columna es el promedio de las cinco primeras observaciones (1989-1993), el segundo valor en la columna 5-MA es el promedio de los valores 1990-1994 y así sucesivamente. Cada valor en la columna 5-MA es el promedio de las observaciones en el período de cinco años centrado en el año correspondiente. No hay valores para los dos primeros años o los últimos dos años porque no tenemos dos observaciones a cada lado. En la fórmula anterior, la columna 5-MA contiene los valores de hat con k2. Para ver cómo se ve la estimación de tendencia-ciclo, lo trazamos junto con los datos originales en la Figura 6.7. Parcela 40 elecsales, principal quotResidential ventas de electricidad, ylab quotGWhquot. Observe cómo la tendencia (en rojo) es más suave que los datos originales y captura el movimiento principal de la serie temporal sin todas las fluctuaciones menores. El método del promedio móvil no permite estimaciones de T donde t está cerca de los extremos de la serie, por lo tanto la línea roja no se extiende a los bordes de la gráfica en cualquier lado. Posteriormente utilizaremos métodos más sofisticados de estimación de tendencia-ciclo que permiten estimaciones cerca de los puntos finales. El orden de la media móvil determina la suavidad de la estimación de tendencia-ciclo. En general, una orden más grande significa una curva más lisa. El siguiente gráfico muestra el efecto de cambiar el orden de la media móvil para los datos de ventas de electricidad residencial. Esto es así que son simétricos: en una media móvil de orden m2k1, hay k observaciones anteriores, k observaciones posteriores y la observación media Que se promedian. Pero si m era igual, ya no sería simétrico. Promedios móviles de promedios móviles Es posible aplicar una media móvil a una media móvil. Una de las razones para hacer esto es hacer una media móvil de orden uniforme simétrica. Por ejemplo, podríamos tomar una media móvil de orden 4, y luego aplicar otra media móvil de orden 2 a los resultados. En la Tabla 6.2, esto se ha hecho para los primeros años de los datos trimestrales australianos sobre la producción de cerveza. Beer2 lt - window 40 ausbeer, inicio 1992 41 ma4 ltm 40 beer2, order 4. center FALSO 41 ma2x4 ltm 40 cerveza2, orden 4. center TRUE 41 La notación 2times4-MA en la última columna significa un 4-MA Seguido por un 2-MA. Los valores de la última columna se obtienen tomando una media móvil de orden 2 de los valores de la columna anterior. Por ejemplo, los dos primeros valores en la columna 4-MA son 451,2 (443410420532) / 4 y 448,8 (410420532433) / 4. El primer valor en la columna 2times4-MA es el promedio de estos dos: 450.0 (451.2448.8) / 2. Cuando un 2-MA sigue una media móvil de orden par (como 4), se llama una media móvil centrada de orden 4. Esto es porque los resultados son ahora simétricos. Para ver que este es el caso, podemos escribir el 2times4-MA de la siguiente manera: begin hat amp frac Bigfrac (y y y y) frac (y y y y) Big frac fray frac14y frac14y frac14y frac18y. Final Es ahora un promedio ponderado de observaciones, pero es simétrico. También son posibles otras combinaciones de promedios móviles. Por ejemplo, a menudo se utiliza una MA 3 x 3 y consiste en una media móvil de orden 3 seguida por otra media móvil de orden 3. En general, un orden par MA debe ir seguido de un orden par MA para hacerlo simétrico. De manera similar, una orden impar MA debe ser seguida por una orden impar MA. Estimación del ciclo de tendencias con datos estacionales El uso más común de promedios móviles centrados consiste en estimar el ciclo de tendencias a partir de datos estacionales. Considere el caso 2 x 4-MA: fractura de sombrero frac14y frac14y frac14y frac18y. Cuando se aplica a los datos trimestrales, cada trimestre del año se le da el mismo peso como el primer y último términos se aplican al mismo trimestre en años consecutivos. En consecuencia, se promediará la variación estacional y los valores resultantes del sombrero t tendrán poca o ninguna variación estacional restante. Se obtendría un efecto similar usando una 2-8 MA o una 2-12 MA. En general, una m-MA de 2 veces es equivalente a una media móvil ponderada de orden m1 con todas las observaciones tomando peso 1 / m excepto para el primer y último término que toman pesos 1 / (2m). Por lo tanto, si el período estacional es uniforme y de orden m, utilice una m-MA de 2 veces para estimar el ciclo de tendencia. Si el período estacional es impar y de orden m, use un m-MA para estimar el ciclo de tendencias. En particular, se puede usar un 2-12 MA para estimar el ciclo de tendencias de los datos mensuales y un 7-MA se puede utilizar para estimar el ciclo de tendencias de los datos diarios. Otras opciones para el orden de la MA por lo general resultarán en estimaciones de tendencia-ciclo que están contaminadas por la estacionalidad en los datos. Ejemplo 6.2 Fabricación de equipos eléctricos La Figura 6.9 muestra una aplicación de 2 x 12 mA aplicada al índice de pedidos de equipos eléctricos. Obsérvese que la línea lisa no muestra estacionalidad, es casi la misma que la tendencia-ciclo que se muestra en la Figura 6.2 que se estimó utilizando un método mucho más sofisticado que los promedios móviles. Cualquier otra opción para el orden de la media móvil (excepto 24, 36, etc.) habría resultado en una línea suave que muestra algunas fluctuaciones estacionales. Plot 40 elecequip, ylab quotNuevo índice de órdenes. Col quotgrayquot, main Quot 41, 40 ma 40 elecequip, order 12 41. col cuotredquot 41 Promedios móviles ponderados Las combinaciones de promedios móviles resultan en promedios móviles ponderados. Por ejemplo, el 2x4-MA discutido anteriormente es equivalente a un 5-MA ponderado con pesos dados por frac, frac, frac, frac, frac. En general, una m-MA ponderada se puede escribir como hat t sum k aj y, donde k (m-1) / 2 y los pesos están dados por a, dots, ak. Es importante que los pesos se suman a uno y que sean simétricos de modo que aj a. El m-MA simple es un caso especial donde todos los pesos son iguales a 1 / m. Una ventaja importante de las medias móviles ponderadas es que producen una estimación más suave del ciclo de tendencias. En lugar de las observaciones que entran y salen del cálculo a peso completo, sus pesos aumentan lentamente y luego disminuyen lentamente, dando como resultado una curva más lisa. Algunos conjuntos específicos de pesos son ampliamente utilizados. Algunos de estos se dan en la Tabla 6.3.5.2 Suavizado de series temporales Suavizado se suele hacer para ayudarnos a ver mejor patrones, tendencias por ejemplo, en series de tiempo. Por lo general suavizar la irregularidad irregular para ver una señal más clara. Para los datos estacionales, podemos suavizar la estacionalidad para que podamos identificar la tendencia. Smoothing no nos proporciona un modelo, pero puede ser un buen primer paso para describir varios componentes de la serie. A veces se utiliza el término filtro para describir un procedimiento de suavizado. Por ejemplo, si el valor suavizado para un tiempo particular se calcula como una combinación lineal de observaciones para tiempos circundantes, podría decirse que hemos aplicado un filtro lineal a los datos (no es lo mismo que decir que el resultado es una línea recta, por la manera). El uso tradicional del término media móvil es que en cada punto en el tiempo determinamos (posiblemente ponderado) promedios de los valores observados que rodean un tiempo particular. Por ejemplo, en el tiempo t. Un promedio móvil centrado de la longitud 3 con pesos iguales sería el promedio de los valores a veces t -1. T Y t1. Para quitar la estacionalidad de una serie, para que podamos ver mejor la tendencia, usaríamos un promedio móvil con un lapso de duración de temporada. Así, en la serie suavizada, cada valor suavizado se ha promediado en todas las estaciones. Esto puede hacerse mirando un promedio móvil unilateral en el cual usted promedio todos los valores para los años anteriores vale la pena de datos o una media móvil centrada en la que se utilizan valores antes y después de la hora actual. Para los datos trimestrales, por ejemplo, podríamos definir un valor suavizado para el tiempo t como (x t x t-1 x t-2 x t-3) / 4, el promedio de este tiempo y los 3 trimestres anteriores. En el código R, este será un filtro unilateral. Un promedio móvil centrado crea un poco de una dificultad cuando tenemos un número par de períodos de tiempo en el período de temporada (como solemos hacer). Para suavizar la estacionalidad en los datos trimestrales. Con el fin de identificar la tendencia, la convención habitual es utilizar el promedio móvil suavizado en el momento t es suavizar la estacionalidad en los datos mensuales. Es decir, se aplica el peso 1/24 a los valores a veces t6 y t6 y el peso 1/12 a todos los valores en todo momento entre t5 y T5. En el comando Filtro R, especifique bien un filtro de dos caras cuando desee utilizar valores que vienen tanto antes como después del tiempo para el cual fueron suavizados. Tenga en cuenta que en la página 71 de nuestro libro, los autores aplican pesos iguales a través de una media móvil estacional centrada. Eso está bien también. Por ejemplo, un tono trimestral más suave puede ser suavizado en el momento t es fraccionado x frac x frac x frac x frac x Un mensual más suave podría aplicar un peso de 1/13 a todos los valores de los tiempos t-6 a t6. El código que usan los autores en la página 72 se aprovecha de un comando rep que repite un valor un cierto número de veces. No utilizan el parámetro filter dentro del comando filter. Ejemplo 1 Producción trimestral de cerveza en Australia Tanto en la lección 1 como en la lección 4, examinamos una serie de producción trimestral de cerveza en Australia. El siguiente código R crea una serie suavizada que nos permite ver el patrón de tendencia y traza este patrón de tendencia en el mismo gráfico que la serie temporal. El segundo comando crea y almacena la serie suavizada en el objeto denominado trendpattern. Tenga en cuenta que dentro del comando filter, el parámetro named filter da los coeficientes para nuestro suavizado y sides 2 hace que se calcule un liso centrado. Beerprod (beerprod. dat) filtro de tendencia (beerprod, filtro c (1/8, 1/4, 1/4, 1/4, 1/8), sides2) parcela (beerprod, tipo b, ) Lines (trendpattern) Heres el resultado: Podemos restar el patrón de tendencia de los valores de datos para obtener una mejor mirada a la estacionalidad. El resultado sigue: Otra posibilidad para suavizar la serie para ver la tendencia es el filtro unilateral del filtro trendpattern2 (beerprod, filter c (1/4, 1/4, 1/4, 1/4), sides1) Con esto, el valor suavizado es el promedio del año pasado. \ Vskip1.000000 \ baselineskip Ejemplo 2 Desempleo Mensual de los Estados Unidos En la tarea de la semana 4 se examinó una serie mensual de desempleo estadounidense para 1948-1978. Heres un alisamiento hecho para mirar la tendencia. Trendunemployfilter (desempleo, filtroc (1 / 24,1 / 12,1 / 12,1 / 12,1 / 12,1 / 12,1 / 12,1 / 12,1 / 12,1 / 12,1 / 12, 1 / 12,1 / 24), sides2) trendunemploy ts (trendunemploy, start c (1948,1), freq 12) parcela (trendunemploy, mainTrend en US Desempleo, 1948-1978, xlab Año) Sólo se traza la tendencia suavizada. El segundo comando identifica las características de tiempo de calendario de la serie. Eso hace que la trama tenga un eje más significativo. La trama sigue. Para las series no-estacionales, usted no está obligado a suavizar sobre cualquier período particular. Para suavizar, debe experimentar con medias móviles de diferentes tramos. Esos períodos de tiempo podrían ser relativamente cortos. El objetivo es eliminar los bordes ásperos para ver qué tendencia o patrón puede estar allí. Otros métodos de suavizado (Sección 2.4) La Sección 2.4 describe varias alternativas sofisticadas y útiles para el suavizado promedio móvil. Los detalles pueden parecer incompletos, pero eso está bien porque no queremos quedar atascados en un montón de detalles para esos métodos. De los métodos alternativos descritos en la Sección 2.4, el lowess (regresión localmente ponderada) puede ser el más utilizado. Ejemplo 2 Continúa La siguiente gráfica es una línea de tendencia suavizada para la serie de desempleo de los Estados Unidos, encontrada usando un lowess más suave en el cual una cantidad sustancial (2/3) contribuyó a cada estimación suavizada. Tenga en cuenta que esto suavizado la serie más agresiva que el promedio móvil. Los comandos utilizados fueron los desempleados (desempleo, inicio c (1948,1), freq12) parcela (lowess (desempleo, f 2/3), suavizado principal Lowess de la Tendencia de Desempleo de los Estados Unidos) Suavizado Exponencial Único La ecuación básica de predicción para el suavizado exponencial simple Se pronostica que el valor de x en el tiempo t1 sea una combinación ponderada del valor observado en el tiempo t y el valor pronosticado en el tiempo t. Aunque el método se denomina método de suavizado, se utiliza principalmente para pronósticos a corto plazo. El valor de se llama constante de suavizado. Por cualquier razón, 0.2 es una popular opción por defecto de los programas. Esto pone un peso de 0,2 en la observación más reciente y un peso de 1,2,8 en la última previsión. Con un valor relativamente pequeño de, el alisado será relativamente más extenso. Con un valor relativamente grande de, el alisado es relativamente menos extenso ya que se pondrá más peso en el valor observado. Este es un simple método de previsión de un paso adelante que a primera vista parece no requerir un modelo para los datos. De hecho, este método es equivalente al uso de un modelo ARIMA (0,1,1) sin constante. El procedimiento óptimo consiste en ajustar un modelo ARIMA (0,1,1) al conjunto de datos observado y utilizar los resultados para determinar el valor de. Esto es óptimo en el sentido de crear lo mejor para los datos ya observados. Aunque el objetivo es suavizar y avanzar un paso adelante, la equivalencia con el modelo ARIMA (0,1,1) trae un buen punto. No debemos aplicar ciegamente el suavizado exponencial porque el proceso subyacente puede no estar bien modelado por un ARIMA (0,1,1). ARIMA (0,1,1) y Equivalencia exponencial de suavizado Considere un ARIMA (0,1,1) con media 0 para las primeras diferencias, xt - x t - 1: begin hat amp amp xt theta1 wt amp amp xt theta1 (xt - hat t) amp amp (1 theta1) xt - theta1que tienden. Si dejamos (1 1) y por lo tanto - (1) 1, vemos la equivalencia a la ecuación (1) anterior. Por qué se llama al método Suavizado exponencial Esto produce lo siguiente: comienza hat amplificador amp alfa xt (1-alfa) alfa x (1-alfa) hat amplificador alfa xt alfa (1-alfa) x (1-alfa) 2hat final Continuar De esta manera sustituyendo sucesivamente el valor previsto en el lado derecho de la ecuación. Esto conduce a: hat alpha xt alfa (1-alfa) x alfa (1-alfa) 2 x dots alfa (1-alfa) jx puntos alfa (1-alfa) x1 texto La ecuación 2 muestra que el valor pronosticado es un promedio ponderado De todos los valores pasados ​​de la serie, con pesos que cambian exponencialmente a medida que retrocedemos en la serie. Optimización del suavizado exponencial en R Básicamente, sólo ajustamos un ARIMA (0,1,1) a los datos y determinamos el coeficiente. Podemos examinar el ajuste del liso comparando los valores predichos con la serie real. El suavizado exponencial tiende a usarse más como una herramienta de pronóstico que como un verdadero más suave, por lo que buscamos ver si tenemos un buen ajuste. \ Vskip1.000000 \ baselineskip Ejemplo 3 N 100 observaciones mensuales del logaritmo de un índice de precios del petróleo en los Estados Unidos. La serie de datos es: Un ajuste de ARIMA (0,1,1) en R dio un coeficiente de MA (1) 0,3877. Ası, (1 1) 1.3877 y 1- -0.3877. La ecuación de predicción de suavizado exponencial es hat 1.3877xt - 0.3877hat t En el tiempo 100, el valor observado de la serie es x 100 0.86601. El valor previsto para la serie en ese momento es Así, el pronóstico para el tiempo 101 es el sombrero 1.3877x - 0.3877hat 1.3877 (0.86601) -0.3877 (0.856789) 0.8696 A continuación se muestra qué tan bien el más suave se ajusta a la serie. Es un buen ajuste. Eso es una buena señal para la previsión, el principal objetivo de este suave. Aquí están los comandos usados ​​para generar la salida para este ejemplo: oilindex scan (oildata. dat) trazado (oilindex, tipo b, registro principal de la serie de índices de aceite) expsmoothfit arima (oilindex, order c (0,1,1)) expsmoothfit Para ver los resultados del arima predichos oilindex - expsmoothfitresiduals predited values ​​plot (oilindex, typeb, principal Alisamiento Exponencial de Log of Oil Index) líneas (predicteds) 1.3877oilindex100-0.3877predicteds100 pronóstico para el tiempo 101 Double Sponer Exponencial El doble suavizado exponencial podría ser utilizado cuando theres Tendencia (ya sea a largo plazo o corto plazo), pero sin estacionalidad. Esencialmente, el método crea un pronóstico combinando estimaciones exponencialmente suavizadas de la tendencia (pendiente de una recta) y el nivel (básicamente, la intersección de una recta). Dos pesos diferentes, o parámetros de suavizado, se utilizan para actualizar estos dos componentes en cada momento. El nivel suavizado es más o menos equivalente a un simple suavizado exponencial de los valores de los datos y la tendencia suavizada es más o menos equivalente a un simple suavizado exponencial de las primeras diferencias. El procedimiento es equivalente al montaje de un modelo ARIMA (0,2,2), sin constante puede realizarse con un ajuste ARIMA (0,2,2). (1 - B) 2 xt (1 theta1B theta2B2) wt. Navegación