Saludos cofrades
En el trabajo administramos la facturación de telefonía por medio de siana (telmex), las áreas administrativas estan solicitando reportes muy específicos que el sistema en línea no tiene y otros que son muy talachudos para estar sacando; se pueden descargar los archivos de texto con el log del mes, estamos analizando la posibilidad de utilizar esos logs para alimentar una base de datos y generar los reportes que se necesitan, se me ocurrió hacer algo con LAMP, alguien ha hecho esto?, podría compartir su experiencia o algunos consejos?, cualquier ayuda será bien recibida.
Saludos!
Buenas tardes m3g4tr0n.
Mira, en la empresa donde trabajo (muy parecida a telmex) contínuamente hacemos esto, obtener de archivos de texto la información para procesarla y generar reportes y gráficos.
Como en esta empresa la información es gigantezca, te hablo de archivos planos de varios cientos de MB de tamaño, igualmente las bases de datos son del orden de muchos GB, la forma mas adecuada de manejar esta información es mediante Perl.
No hay nada mejor que Perl para manipular archivos de texto de forma rápida, eficiente, segura y estable.
Así mismo usamos los módulos GD::Graph y (habiendo desarrollado nuestro API), generamos gráficas “al vuelo” para mostrarlas en una Web.
Igualmente usamos mas módulos como Spreadsheet::WriteExcel::Big para exportar a una Hoja de cálculo algo famosa de una empresa no muy buena, y otras librerías de las que hay muchísimas en el gigantezco mundo Perl.
Si bien no te pude ayudar directamente con links a software o cosas así, sí te afirmé que la forma mas SEGURA y rápida de hacer las cosas con cantidades grandes de datos, sobre todo con archivos planos, es con Perl. Te lo digo por experiencia propia y también ajena.
Saludos cordiales.
Pues no uso LAMP pero uso LAPP: Linux Apache Perl y Postgresql.
Si los datos de entrada son texto, lo mejor para procesarlos es Perl. La potencia de las expersiones regulares, junto con los hashes nativos lo hacen la mejor opción. Además, si requiere de algún algoritmo en particular para procesar texto, seguramente lo encontrarás en el CPAN. Y si no está, puedes colaborar con la comunidad y agregarlo.
Para las bases de datos en Postgresql es mejor usar Pg (en lugar de DBI) pues asegura un máximo rendimiento. Si requieres PLs, los puedes escribir en perl, ya que postgresql soporta perl como PL en forma nativa.
Igualmente, para el desarrollo en WEB puedes usar CGI escritos en perl ¡fácil y rápido! Si requieres un máximo desempeño, entonces mod_perl es la alternativa.
Por acá hemos procesado lotes de archivos de varios megabytes sin ningún problema, la base de datos en tiene como medio millón de registros y se comporta de maravilla; y hasta le hemos incrustado al postgresql una que otra rutina en perl.
Pásala bien.
Saludos