Stranica: 2/3.

Re: Python background app

Postano: 07 ožu 2013, 17:10
Postao/la shrike
OK, da defintiivno je multithreading dobra ideja, ali ti je i to badava ako ti je efikasnost algoritma loša. Zato pogledaj da li možeš tu efikasnot poboljšati, a ako ne, probaj optimizirati program za procesor (tipa gcc optimizacije) i raditi stvari tipa koristiti int umjesto doble float (ako nije nužno) i slično

Re: Python background app

Postano: 07 ožu 2013, 17:32
Postao/la jurastublic
Pa isprobaj. Evo ja sam za probu prepisao s weba mali socket i klijent pa sam izmjerio koliko mu treba da se spoji 100000 puta, pošalje, vrati i isprinta podugačku liniju:
  • ~/Desktop $ python client.py
    11.7355079651 seconds
To znači preko 8000 u sekundi.
To je na Phenomu x4 3.2 GHz. Opterećenje proca je 30%.

Re: Python background app

Postano: 07 ožu 2013, 17:41
Postao/la shrike
to ovisi i o mrežnoj opremi, ne samo CPU. Možeš ti koristiti i loopback kao interni mehanizam, a u koem slučaju mislim da će biti radiklano brže (ne spominjajući da bi mogao uvijek pisati stvar u C-u umjesto pythonu ako su performanse bitne).

Re: Python background app

Postano: 07 ožu 2013, 17:55
Postao/la jurastublic
Pročitaj originalni post. To je upravo to, local i python. Nema veze s mrežnom opremom.

Re: Python background app

Postano: 07 ožu 2013, 18:07
Postao/la Bug
@Shrike, imam 10linija python koda (mozda i manje) tu nema mnogo filozofije da se "ubrza" obrada..ili ce da radi brzo ili nece...
Zasto nije ovo pisano u C-u? Pa C ima problem sa memcached library (nisam system administrator tako da to nije moj deo posla zasto ne radi library) i onda moram python jer u njemu radi trenutno...

@jura, teoretski bi znaci islo, u praksi treba da vidim :D

Ono sto je sigurno je da sada imam 2k u sekundi a za mesec dana ce to sigurno pasti na 1k ... tako da mi smao bitno ovaj "peak" da preguram.
Ajd videcu ovih dana da prebacim socket + thread

Re: Python background app

Postano: 08 ožu 2013, 01:30
Postao/la shrike
broj linija koda je neovisan o tome koliko je kod efikasan u smislu algoritamske efikasnosti. Spomenuo sam to jer si rekao da je sporo, ali ne bi smjelo biti. No dobro, ako library radi problema onda valjda treba promijeniti library u onaj koji radi :D:D

Re: Python background app

Postano: 08 ožu 2013, 01:36
Postao/la max360se
Mozda bi lua radila?

Re: Python background app

Postano: 08 ožu 2013, 09:22
Postao/la jurastublic
Evo bug, imaš sreće da mi je viličar zdrobio par prstiju tako da imam vremena na bacanje :(
Napravio sam bolju verziju, nije socket nego FIFO, tj. "named pipe".
Ova daje preko 15000 hitova u sekundi uz opterećenje phenoma od 80%.
Skripte su u privitku.
pipe.zip
(1.15 KiB) Preuzeto 174 puta.
edit: dodao sam i za slanje arg preko cPickle kao original liste,
mislim da je to bolje iako mrvicu sporije -oko 13000 h/s...

Re: Python background app

Postano: 08 ožu 2013, 21:06
Postao/la shrike
meni je to i dalje jako, jako sporo. trebalo bi biti na razini 10^6

Re: Python background app

Postano: 08 ožu 2013, 21:24
Postao/la jurastublic
@shrike: Mislim da je dobio upravo šta je i tražio. Ako hoćeš možemo ti i ja pokušati u c ili assembleru da vidimo dokle ide.
Meni se ne da samome.