Ordenar y limpiar archivos grandotes con Ruby y Bash

Curiosidad:

Tengo una colección de diccionarios que me pasó Dinno hace un tiempo. Quería dejar el aircrack cotejándolos, pero son 44 archivos, y quería ver como serializarlos, es decir, procesarlos a todos. Ademas, estoy seguro que hay palabras que se repiten entre los diccionarios.
Se me ocurrió unir todos los archivos en uno solo, ordenar las palabras internamente, y borrar las duplicadas.

Unificar todos los diccionarios en uno solo, se pudo hacer directamente desde el irb:

archivos = Dir.entries(".")
=> ["numeros.txt", "HackPass-1.txt", "pass_habituales2.txt", "passlist.txt", "passlist-3.txt", "user.txt", "otras_palabras.txt", "HackPass-3.txt", "passwordjhon.lst", "passwords.txt", etc etc

archivos.size.times do
system("cat #{archivos[i]} >> TODOS.txt")
i = i + 1
end

Listo, ahora tengo un archivo de 141 MB. Luego, para ordenarlo y limpiarlo, me dio fiaca y use el viejo uniq:

cat TODOS.txt | sort | uniq > TODOS_LIMPIOS.txt

Si comparamos tamaños:
ls -lh TODOS*
-rw-rw-r-- 1 s s  95M dic 12 00:01 TODOS_LIMPIOS.txt
-rw-rw-r-- 1 s s 141M dic 11 23:56 TODOS.txt

¡Que diferencia! y esto implica MUCHO tiempo de proceso menos para aircrack ;)

Es decir, comparemos la cantidad de palabras:

wc -l TODOS* 

11.035.510 TODOS_LIMPIOS.txt
15.746.349 TODOS.txt

Esto implica 4.710.839 menos comparaciones que deberá hacer nuestro querido amigo aircrack. Y por cierto, la resta de este numero al total de claves es importante para saber cuanto le falta al programa para terminar, ya que si bien va mostrando la cantidad de claves analizadas, no muestra cuantas les queda por procesar.

Es decir, si lanzo:

aircrack-ng -w TODOS_LIMPIOS.txt -b C8:6C:87:56:5E:0D speedynet.cap 

Y veo que mi CPU es capaz de procesar aproximadamente 1300 claves por segundo, puedo saber que

11035510 / 1300 / 60 / 60 = 2.35 hs

Y a esperar. Bastante menos, espero ;)

Bunkerya Tea & Mate de Frutas

Desde hace un tiempo estamos con Vero incursionando en el mundo de los blends de té.

En mi caso fue por necesidad, porque aunque me gustan el mate y el café, me caen mal en las mañanas. Casualmente, en una misma semana, descubrí que el té negro en hebras tiene mas cafeína que el café, y luego en Neuquen, un amigo (Gustavo) me enseñó una combinación a muy original, el mate de frutas:

• Taza grande
• Bombilla
• Te negro, si es en hebras, mejor.
  
• Te de algun fruto rojo: arandanos, frutilla, si es en hebras o granulado, mejor
• Manzana, o kiwi, o durazno: se ponen al final, no durante el volcado del agua, porque si no queda como compota.
  

Recuerden templar antes la taza y la bombilla. De otra manera queda espuma blanca con gusto a tanino. Se puede ir pasando como el mate, mientras que entre cebada y cebada se espere a que los ingredientes se mezclen nuevamente, con el ocasional agregado de unas hebras nuevas y azucar. Hay tazas y teteras que vienen con tapa: son las ideales, pero luego del volcado del agua, se debe cuidar que la tapa no genere el "efecto compota".

Desde entonces, hemos descubierto (cacao por la noticia) que las combinaciones son muchas, siempre sorprendentes: algunas muy buenas, y otras intomables.

Combinando y probando, armé esta planilla en google docs:
https://spreadsheets.google.com/spreadsheet/pub?hl=es&hl=es&key=0AgpYzXgDbB9ydDJoRHVYZDBja25JdXVWWThwUkxJSUE&output=html

Es una tabla cruzada de componentes y combinaciones. Por ejemplo, un te que combiné en la oficina, y a falta de un nombre mejor, fué Bunkerya 1:

• Té verde en hebras
• 2 cm3 de jengibre
• 2 cm2 de cascara de limon
• 2 semillas rotas de cardamomo (si hay)

Idealmente: moler todo en un mortero. Queda medio flojo irse con un mortero a la oficina, pero basta un tupper de esos donde se guardan tuercas (sin tuercas) para hacerse un pequeño juego portatil de componentes. Ojo el jengibre, que si se seca pierde mucho aroma. Y chequeen que los componentes sean estancos entre sí, para que los aromas no se mezclen.

Aquellos que hayan probado una combinación nueva, y quieran compartirla, por favor manden un msg a @karancho y les habilito la edición.

Solo tienen que agregar una columna con el nombre de la combinación que descubrieron, y marcar con x los componentes utilizados.

¡Enjoy!

Para teachers: broadcast del tipeo en consola hacia varias compus

Esto es una pequeña delicia que encontré en los repositorios.

Paquete: gems

gems-server: corre en background mostrando lo que se tipea, a quien se conecte a la ip

gems-client : muestra lo que se está tipeando en la consola remota donde se ha ejecutado gems-server

Muy lindo cuando se enseña el uso de los comandos Unix

dpkg-reconfigure console-setup

¿Alguna vez probaron este comando?

Es una evolución muy buena al conocido dpkg-reconfigure console-data

Ademas de dejarnos elegir el mapa de teclado, sirve para sacar la fea letra fixed de la consola de texto, cambiar los puntos de la buena y vieja fuente vga, y cambiar entre utf-8 e iso8859, ateniendose a unas cuantas simples preguntas.

MC Transparente

A finales de noviembre estuve instalando el Gnome 2.12 que trae Breezy Edubuntu, en la Escuela Normal Tomas Godoy Cruz.

El experimento consistía en probarlo en un ambiente donde se dieran altas condiciones de inercia: un laboratorio de informática repleto de adolescentes y profesores de EGB.

Realmente han twikeado Edubuntu para que se vea *muy* user-friendly. Está un poco ñoño, pero a los chicos les gusta. Luego, para que no le dieran tanta pelota al WindouEquiPí, le saqué los jueguitos, (pero se los dejé a Ubuntu). Al cabo de un rato: bingo! había varios enganchados, incluyendo un par de profesores. Cuando la novedad de los juegos se terminó, comenzaron a utilizar las otras herramientas.

Mientras los futuros acólitos rondaban, yo estaba usando el Midnight Commander. En eso, uno de los pollos se acerca y pregunta que estoy haciendo. Le explico las características de un "Administrador de Archivos", ejemplificando con Nautilus, Konqueror, etc.

Indudablemente no entiende las ventajas que supone para un viejo usuario de consola esta pequeña navaja suiza. No muy convencido comenta:

- La verdad que es feo, ¿eh?

Contengo las ganas de estrrrrrrrangularlo... y si, es condenadamente feo. A pesar de estar inspirado en el homónimo del Piter Nortón, es útil, austero y feo como si lo hubieran desarrollado en Rusia.

Esa tarde, por casualidad, caí en el sitio de MC, (el Caballo de Batalla de Miguel de Icaza junto a Gnome), y me llamó la atención esta captura de pantalla donde sale MC (Midnight Commander) transparente en una Gnome-Terminal.


La man page, si bien muy abundante, no dice como hacerlo puntualmente con los directorios.Al final lo resolví agregando la siguiente línea a ~/.config/mc/ini (antes ~/.mc/ini)
[Colors] base_color=normal=cyan,default:marked=brown,default:directory=magenta,default :executable=green,default:link=white,default:stalelink=red,default:special=grey,default :editnormal=brown,default:editmarked=black,default

*** (ojo cuando copien: ES UN SOLA LINEA, SIN ESPACIOS !!!) ***

Funciona tambien con Aterm y Eterm. Konsole no lo necesita (tiene la opción dentro de las Preferencias).

Ahora soy ñoño, pero con estilo :P

Actualización: mas temas!!!! - https://delicious.com/karancho/mc

Cygwin + Ncftput + find: Backups para Vagos (actualización)

Actualización 2: comentarios necesarios sobre en versiones nuevas de proftpd

Encontré una forma un poco primitiva para hacer backups de maquinas windozas sobre un servidorcito Linux. Por suerte es bastante artesanal y no dependo de cosas raras como el Micro$oft Backup, Nero Backup y otros cachivaches imprevisibles y/o sospechosas que me exigen desperdiciar otro server con Windort.

Backupeando

En el Linux

• adduser por cada usuario
• apt-get install proftpd
  
• En /etc/proftpd.conf activar las siguientes lineas:
  

#(comentar)
DelayEngine off
#(comentar)

AllowStoreRestart on

En las estaciones:

• Instalar el ncftpput de las herramientas "Unix" para Windows (Cygwin). Estas herramientas deberían ser muy tenidas en cuenta para los que se ahogan sin una consola cerca. Hay desde mutt, tar, ssh, de todo.
• En el autoexec.bat (Win9x) o en Propiedades del Sistema / Variables de Entorno (Win200x/XP) agrego la línea c:\\cygwin\\bin al PATH.
  
• Win9x tiene que reiniciar, ojo.
• Bajo w2000/XP el acceso a la carpeta c:\\cygwin debe ser permitida a *Todos* los usuarios (Propiedades / Seguridad)
• En el Programador de Tareas, agrego la línea:

ncftput -v -R -u ElUsuario -p Pasguor -m -z ip-del-server /home/ElUsuario/Backup "C:\Documents and Settings\ElUsuario\Mis Documentos" "C:\Documents and Settings\\ElUsuario\Escritorio"

• Esta linda línea recolecta aquellos archivos que se han agregado o que han cambiado localmente, y copia o actualiza en el /home del Linux, comprimiendo por el camino y creando los directorios a medida que hace falta. Se le puede agregar todos los directorios que quieran al final. Es realmente muy rápida y por algúna razón no ocupa casi nada del ancho de banda de la red: las LTSP, a 10Mbits apenas si se enteran que un río de archivos va subiendo por el troncal hacia el segundo piso.
• Para ejecutivos paranoicos con su información:
  
• Dejar un acceso directo a algún bat que contenga la línea precedente, en la carpeta Inicio de CADA usuario, a fin que se ejecute el backup en cada inicio de sesión.
• Cuando tengo que restaurar archivos, abro cualquier ventana de los Windows y le mando "ftp://ElUsuario@ip-del-server" donde paso a retirar el backup actualizado. Puedo usar tambien Samba pero tampoco quiero darles mucha libertad a los usuarios que curioseen por el server.

Cuidando la granja

No es que los usuarios sean muy despiertos, pero si miran dentro del Programador de Tareas se van a encontrar un pasword para loguearse por mi SSH. Todavía no dominan ni el Firefox, pero for if the flys, instalo un viejo amigo:

• apt-get install falselogin

• Gracias a algunos comentarios de la lista agrego a /etc/shells la línea /usr/bin/falselogin

• En el /etc/password cambio el shell final de modo que llame a falselogin en cada vuelta, quedaría algo parecido a
  

passwd:ElUsuario:x:1059:1059:,,,:/home/ElUsuario:/usr/bin/falselogin

Si el usuario intentara loguearse obtendría

Welcome at gazpacho (Debian 3.1 Linux 2.6.10-5-386)
No mail.
Sorry sommelier but our server does not accept shell logins.
So long and thanks for all the fish.

Y si un usuario le quiere borrar vía FTP los archivos a un compañero? Siempre tienen la facultad de sorprenderme, de modo que llevo históricos semanales.

Sacando la basura
Ahora bien: semanalmente hago un backup del /home en DVD/R. Algún día me compraré n una cinta, pero hasta entre tanto, tengo que cuidar la cantidad de DVDs.

Me encuentro con que los usuarios guardan mp3, pequeñas peliculas, fotos, e incluso yo mismo me olvido instaladores sobre los escritorios, isos, temporales y demás cosas.

Puedo filtrar desde el Squid lo que entra desde Internet, pero siempre algo se cuela de las camaritas de los los celulares, los llaveros USB, las fotos que llegan por correo, y demás. No quiero backupear todo ese garbage.

Despues de navegar bastante encontré como opción

find /home -iname *.mp3 -exec rm {}

Cuando estoy por ejecutarlo se me ocurre leer el larguísimo man de find y encuentro que la versión 4.22 de findutils ahora trae la opción -delete. Hace lo mismo pero es mas fácil de recordar.

De modo que fabrico un archivo en /usr/bin/SacarLaBasura que contiene
find /home -iname *.pif -delete
find /home -iname *.lnk -delete
find /home -iname *.gif -delete
find /home -iname *.jpg -delete
find /home -iname *.bmp -delete
find /home -iname *.wav -delete
find /home -iname *.mp3 -delete
find /home -iname *.avi -delete
find /home -iname *.mpg -delete
find /home -iname *.mpeg -delete
find /home -iname *.tmp -delete
find /home -iname *.exe -delete
find /home -iname *.com -delete
find /home -iname *.tif -delete
find /home -iname *.dll -delete
find /home -iname *.met -delete
find /home -iname *.met.BAK -delete
find /home -iname *.log -delete
find /home -name Messenger* -delete
find /home -iname cygwin.rar -delete

Para correrlo antes del backup, o cuando estoy en modalidad BOFH, lo dejo ejecutable con
chmod a+x /usr/bin/SacarLaBasura

Despierta, Homero
Escribo un instructivo según el cual cada usuario debe mantener encendida su PC a ciertas horas, si no quiere que el ratoncito le coma el gruyere.

A fín de semana SacoLaBasura y empujo el DVD en la grabadora. Me queda ver si puedo hacerlo un poco mas seguro usando rsync, pero todavía no capto bien lo de los certificados entre los Win9x y el Linux. Alguien lo ha probado?