¿Cómo puedo acelerar appengine-mapreduce en AppEngine?

http://code.google.com/p/appengine-mapreduce/ menciona que puede controlar la velocidad de ejecución, pero no puedo entender cómo. Tendría sentido crear una cola de tareas para un trabajo de mapeador y controlar la velocidad desde allí, pero no veo cómo especificar qué cola usar.

preguntado el 16 de mayo de 11 a las 16:05

3 Respuestas

(Gracias a Chris por el puntero, pero después de eso fue necesario investigar un poco para encontrar el parámetro exacto).

Desde http://code.google.com/p/appengine-mapreduce/wiki/UserGuideJava agregue esto a su elemento de configuración mapreduce.xml para limitar el número de entidades procesadas por segundo:

<property>
    <name>mapreduce.mapper.inputprocessingrate</name>
    <value>4</value>
</property>

Respondido 01 Feb 12, 12:02

Ah, gracias por agregar este seguimiento. También puede usar MAPPER_INPUT_PROCESSING_RATE_KEY directamente en Java si está configurando su mapeador mediante programación. - Alondra riley

Yo no uso la versión de Java, pero la versión de Python tiene una processing_rate param que pasa a la especificación del asignador.

Una búsqueda rápida en la fuente de Java revela un MAPPER_INPUT_PROCESSING_RATE_KEY config key, que con suerte le indicará la dirección correcta.

contestado el 17 de mayo de 11 a las 00:05

Para los usuarios que usan Python, es posible que desee buscar esta variable conocida como "_DEFAULT_PROCESSING_RATE_PER_SEC" en model.py para aumentar la tasa de procesamiento predeterminada por segundo. ¡Eso funcionó para mí!

Respondido 11 Feb 12, 12:02

No es la respuesta que estás buscando? Examinar otras preguntas etiquetadas or haz tu propia pregunta.