Si los datos de entrada son texto, lo mejor para procesarlos es Perl. La potencia de las expersiones regulares, junto con los hashes nativos lo hacen la mejor opción. Además, si requiere de algún algoritmo en particular para procesar texto, seguramente lo encontrarás en el CPAN. Y si no está, puedes colaborar con la comunidad y agregarlo.

Para las bases de datos en Postgresql es mejor usar Pg (en lugar de DBI) pues asegura un máximo rendimiento. Si requieres PLs, los puedes escribir en perl, ya que postgresql soporta perl como PL en forma nativa.

Igualmente, para el desarrollo en WEB puedes usar CGI escritos en perl ¡fácil y rápido! Si requieres un máximo desempeño, entonces mod_perl es la alternativa.

Por acá hemos procesado lotes de archivos de varios megabytes sin ningún problema, la base de datos en tiene como medio millón de registros y se comporta de maravilla; y hasta le hemos incrustado al postgresql una que otra rutina en perl.

Pásala bien.

Saludos

Mira, en la empresa donde trabajo (muy parecida a telmex) contínuamente hacemos esto, obtener de archivos de texto la información para procesarla y generar reportes y gráficos.

Como en esta empresa la información es gigantezca, te hablo de archivos planos de varios cientos de MB de tamaño, igualmente las bases de datos son del orden de muchos GB, la forma mas adecuada de manejar esta información es mediante Perl.

No hay nada mejor que Perl para manipular archivos de texto de forma rápida, eficiente, segura y estable.
Así mismo usamos los módulos GD::Graph y (habiendo desarrollado nuestro API), generamos gráficas “al vuelo” para mostrarlas en una Web.

Igualmente usamos mas módulos como Spreadsheet::WriteExcel::Big para exportar a una Hoja de cálculo algo famosa de una empresa no muy buena, y otras librerías de las que hay muchísimas en el gigantezco mundo Perl.

Si bien no te pude ayudar directamente con links a software o cosas así, sí te afirmé que la forma mas SEGURA y rápida de hacer las cosas con cantidades grandes de datos, sobre todo con archivos planos, es con Perl. Te lo digo por experiencia propia y también ajena.

Saludos cordiales.