Python background app

[shrike]

OK, da defintiivno je multithreading dobra ideja, ali ti je i to badava ako ti je efikasnost algoritma loša. Zato pogledaj da li možeš tu efikasnot poboljšati, a ako ne, probaj optimizirati program za procesor (tipa gcc optimizacije) i raditi stvari tipa koristiti int umjesto doble float (ako nije nužno) i slično

[jurastublic]

Pa isprobaj. Evo ja sam za probu prepisao s weba mali socket i klijent pa sam izmjerio koliko mu treba da se spoji 100000 puta, pošalje, vrati i isprinta podugačku liniju:

• ~/Desktop $ python client.py
  11.7355079651 seconds

To znači preko 8000 u sekundi.
To je na Phenomu x4 3.2 GHz. Opterećenje proca je 30%.

[shrike]

to ovisi i o mrežnoj opremi, ne samo CPU. Možeš ti koristiti i loopback kao interni mehanizam, a u koem slučaju mislim da će biti radiklano brže (ne spominjajući da bi mogao uvijek pisati stvar u C-u umjesto pythonu ako su performanse bitne).

[jurastublic]

Pročitaj originalni post. To je upravo to, local i python. Nema veze s mrežnom opremom.

[Bug]

@Shrike, imam 10linija python koda (mozda i manje) tu nema mnogo filozofije da se "ubrza" obrada..ili ce da radi brzo ili nece...
Zasto nije ovo pisano u C-u? Pa C ima problem sa memcached library (nisam system administrator tako da to nije moj deo posla zasto ne radi library) i onda moram python jer u njemu radi trenutno...

@jura, teoretski bi znaci islo, u praksi treba da vidim

Ono sto je sigurno je da sada imam 2k u sekundi a za mesec dana ce to sigurno pasti na 1k ... tako da mi smao bitno ovaj "peak" da preguram.
Ajd videcu ovih dana da prebacim socket + thread

[shrike]

broj linija koda je neovisan o tome koliko je kod efikasan u smislu algoritamske efikasnosti. Spomenuo sam to jer si rekao da je sporo, ali ne bi smjelo biti. No dobro, ako library radi problema onda valjda treba promijeniti library u onaj koji radi :D

[max360se]

Mozda bi lua radila?

[jurastublic]

Evo bug, imaš sreće da mi je viličar zdrobio par prstiju tako da imam vremena na bacanje
Napravio sam bolju verziju, nije socket nego FIFO, tj. "named pipe".
Ova daje preko 15000 hitova u sekundi uz opterećenje phenoma od 80%.
Skripte su u privitku.

pipe.zip

(1.15 KiB) Preuzeto 141 put.

edit: dodao sam i za slanje arg preko cPickle kao original liste,
mislim da je to bolje iako mrvicu sporije -oko 13000 h/s...

[shrike]

meni je to i dalje jako, jako sporo. trebalo bi biti na razini 10^6

[jurastublic]

@shrike: Mislim da je dobio upravo šta je i tražio. Ako hoćeš možemo ti i ja pokušati u c ili assembleru da vidimo dokle ide.
Meni se ne da samome.