Preguntas con respuestas sobre "hadoop-streaming"

Al usar ORDER BY en Hive, solo usa un solo reductor. Entonces ORDER BY es ineficiente. ¿Hay alguna solución alternativa disponible para ORDER BY. ...

Estoy probando la transmisión de Hadoop usando Python. Escribí un mapa simple y reduje los scripts con la ayuda de aquí ...

Tengo un trabajo de reducción de mapa de transmisión. Tengo unas 30 ranuras para el procesamiento. Inicialmente obtengo un único archivo de entrada que contiene 60 registros (los campos están separados por tabuladores), el primer campo de cada registro es un número, el primer número de registro (primer campo) es 1, el segundo número de registro (primer campo) es 2, etc. . YO ...

En mi proyecto, estamos tratando de calcular la similitud de texto de un conjunto de documentos para los que me enfrento a 2 problemas. ...

Estoy tratando de usar Hadoop Streaming para ejecutar dos comandos como gunzip | map_to_old_format.py, pero falla con gzip diciendo "|.gz no encontrado" o algo por el estilo (solo cuando se ejecuta a través de Hadoop... si ejecuto en la línea de comando, funciona bien). ...

Tengo varios programas api de transmisión de hadoop y produzco resultados con este formato de salida: ...

Puedo ejecutar un mapeador y reductor local creado con Ruby con un archivo de entrada. ...

Tengo un programa relativamente simple escrito en C++ y he estado usando Hadoop Streaming para trabajos de MapReduce (mi versión de Hadoop es Cloudera). ...

He escrito un códec de compresión nativo de Hadoop. Para que funcione con Hadoop, necesito compilarlo nativo (código C) en libhadoop.so. ...

En el sistema de archivos hadoop, tengo dos archivos, digamos X e Y. Normalmente, hadoop crea fragmentos de archivos X e Y de 64 MB de tamaño. ¿Es posible forzar a Hadoop a dividir los dos archivos de modo que se cree un fragmento de 64 MB a partir de 32 MB de X y 32 MB de Y? En otras palabras, ¿es posible anular el valor predeterminado...?

En mi trabajo, tengo la necesidad de analizar muchos conjuntos de registros históricos. Los clientes individuales (hay miles) pueden tener cientos de subdirectorios de registro desglosados ​​por fecha. Por ejemplo: ...

Tengo trabajos de MapReduce basados ​​en C++ y estoy usando la transmisión de Hadoop. ...

...

Estoy tratando de agregar algún trabajo a través de AWS SDK para PHP. Puedo iniciar con éxito un clúster e iniciar un nuevo flujo de trabajo a través de la API, pero recibo un error al intentar crear el paso Hadoop Streaming. ...

Estoy analizando los registros de acceso generados por Apache, Nginx, Darwin (servidor de transmisión de video) y agregando estadísticas para cada archivo entregado por fecha / referencia / agente de usuario. ...

...

mi secuencia de comandos de python: ...

...

Establecí una configuración básica de clúster esclavo maestro de hadoop y puedo ejecutar programas mapreduce (incluido python) en el clúster. ...

¿Es posible limitar la cantidad de mapeadores que se ejecutan para un trabajo en un momento dado usando Hadoop Streaming? Por ejemplo, tengo un clúster de 28 nodos que puede ejecutar 1 tarea por nodo. Si tengo un trabajo con 100 tareas, me gustaría usar solo 20 de los 28 nodos en cualquier momento. Me gustaría hacer un límite...

Para un trabajo de transmisión de Python Hadoop, ¿cómo paso un parámetro a, por ejemplo, el script reductor para que se comporte de manera diferente según el parámetro que se pasa? ...

Quiero leer el archivo PDF usando hadoop, ¿cómo es posible? ...

Estoy tratando de ejecutar hadoop con transmisión. Tengo dos archivos. Uno es el archivo java para el asignador y el otro es el script de Python para el reductor. ...

Estoy totalmente confundido con la API de hadoop. (supongo que está cambiando todo el tiempo) ...

En Hadoop cómo manejar los datos crecientes diarios: ...

Mi pregunta es: ¿debería preocuparme por el multiprocesamiento en mi mapeador (leer las tareas de stdin y luego distribuirlas en los procesos de trabajo, combinar los resultados en un proceso maestro y enviarlos a stdout) o Hadoop se encargará de ello automáticamente? ...

Tengo un trabajo hadoop con una fase de mapa bastante larga y quiero que otros trabajos cortos se ejecuten con prioridad. ...

Como ya se mencionó en el título, ¿podría sugerir cuál podría ser el problema? ...

Estoy usando Python y tengo que trabajar en el siguiente escenario usando Hadoop Streaming: ...

Estoy usando "hadoop-0.20.203.0rc1.tar.gz" para la configuración de mi clúster. ...