Weighted Batch Preprocessing (WBPP) i kratka povijest razvoja

[Neven]

Weighted Batch Preprocessing (WBPP) i kratka povijest razvoja

Ovaj alat bi mogao biti program za sebe kada bi ga mogli koristiti van Pixinisght-a. Do 2019.g. alat se zvao Batch Preprocessing (BPP) - automatizirani proces stakiranja astro fotki u Pixinsight-u. Kreirao ga je Kai Wiechen tamo negdje 2012. g. i bio je odlična zamjena za one kojima se nije dalo raditi ručni proces stakiranja. Process nije imao puno mjesta za unos postavki i kao takav je bio krajnje jednostavan. Da bi se nekako suzila razlika između automatiziranog i ručnog procesa krajem 2019.g. Roberto Sartori uz pomoć Tommaso Rubechi-a je napravio nadogradnju alata te ga preimenovao u Weighted Batch Preprocessing (WBPP).

v1.4.0

Verzija 1.0.0 - 1.4.0 (15.11.2019.)

Prva inicijalna nadogradnja se najviše radila o tome da se u proces ubaci 'Subframe Selector' (već postojeći alat unutar PI-a) te isti iskoristi za određivanje 'težine' light frameova, tako zvani 'Weights'. BPP nije mogao ocjeniti kvalitetu light framova dok novi WBPP je od sada to mogao na bazi SNR-a(Signal to Noise ratio), ekscentričnosti(okruglost zvijezda) i FWHM-a (Full Width Half Maximum) zvijezdi.

Dodan je tzv. 'Subframe Weighting' prozor u kojem možemo ručno ili putem preset-a odrediti najbolju formulu za određivanje težine ovisno o onome što smo fotkali. Pa tako imamo preset za maglice, galaksije ili zvijezde. Preset-ovi se ne moraju poštovati, oni su tu da otprilike daju formulu koja je generalno dobra za odabrani objekt. Recimo ako imate fotku Plejada (M45) po formuli bi trebali uzeti Cluster ali pošto su Plejade specifične po maglici oko njih onda bi idealnija formula bila za galaksiju, u prijevodu, treba koristiti mozak.

Presets:
Maglice (Nebula): formula zasnovana za nabolji SNR.
Cluster (Zvijezde): formula zasnovana za najbolji FWHM i ekscentričnost.
Galaxy (Galaksija): formula zasnovana na dobar FWHM ali i SNR.

Verzija 1.0.0 do verzije 1.4.0 je bila testna verzija za odabrane testere te je verzija 1.4.0 javno izašla 15.11.2019.

Nadogradnje naspram BPP verzije su:
- mogućnost određivanja težine Light frame-ova putem implementiranog Subframe Selectora.
- automatsko selektiranje referente fotke za registraciju (na bazi FWHM i eccentricity, ali ne na bazi SNR-a)
- grupiranje light framova po različitim dužinama ekspozicija te dobivanje 2 ili više MasterLight-ova.  (odlično za HDR, tipa Orion maglica) Dodana i ekpozicijska tolerancija gdje možete spojiti različite dužine ekspa u jednu grupu.
- pametno imenovanje (ukoliko skripta ne može učitati podatke iz fotke ista se može preimenovati s podacima i skripta uzima u obzir taj naziv, filename_BINNING_XX_FILTER_XX_XXXs)
- izmjenjena primjena Flat framova (mogućnost kalibracije Flat-a sa MasterBias-om)
- automatsko biranje 'pixel rejaction' algoritma prilikom integracije
- pojačana dijagnoza prije start-a.
- poboljšani 'report'
- mogućnost spremanja sesije

PI thread za verziju 1.4.0
https://pixinsight.com/forum/index.php?threads/weighted-batch-preprocessing-update-v1-4-0.13677/
Detaljnije upute su na ovom linku na Engleskom i Talijanskom.
https://www.tommasorubechi.it/2019/11/15/the-new-weighted-batchpreprocessing/
Još dublja analiza ove verzije je i u PDF formatu na ENG (jako lijepi manual ako se mene pita):
https://www.tommasorubechi.it/wp-content/uploads/2019/11/WBPP-Guide_v1.4.0.pdf



v2.0.0

Verzija 1.4.0 do verzije 2.0.0 je bila za ispravljanje raznih BUG-ova te se nije dodavalo ništa vrijedno spomena.

16.2.2021. izlazi verzija 2.0.0 (zadnja verzija prije je bila 1.5.3). Uvedena je bolja kontrola u dijelu kalibracije i skinute su neke limitacije prethodne verzije.

Velika nadogradnja ove verzije je Kontrolna ploča i grupiranje ključnih riječi.

Control Panel (Kontrolna ploča)
Pregledan status kalibracijskih frame-ova i njihovih opcija. Vidljivost kompletne liste bias/dark/flat/light grupe, dužina ekspa, color ili mono, optimizacija dark-a, status kalibracije za svaku grupu, ključne riječi, ručna promjena Dark-ova za određenu grupu te dijagram pozicija za kalibracijski proces.

Puno je tu sitnih detalja te upućujem na to da se pogleda na PI linku kompletno pojašnjnje kotrolne ploče i također pogleda koji Adam Block video. Nije teško za skužit samo ima puno sitnica.

Ključne riječi (Grouping Keywords)
Od ove verzije je moguće grupiranje fotki putem ključnih riječi bilo u nazivu foldera ili u nazivu datoteke. Sintaksa je jednostavna "<keyword>_<value>". Na taj način možete odvojiti svu kalibraciju zasebno po folderima i WBPP će zanemariti sličnosti u dužini ekspa, filter, binning te će ih grupirati po svojoj ključnoj riječi. Znači svaka sesija se može zasebno kalibrirati unutar WBPP-a i imati svoje Master frejmove.



Detaljnije informacije o ovoj nadogradnji su na forumu PI-a:
https://pixinsight.com/forum/index.php?threads/wbpp-2-0-released.16123/




v2.1.0

2.6.2021. izašla je verzija 2.1.0 zajedno sa novom PI verzijom 1.8.8-8.

Nadogranje:
- mogućnost grupiranja ključnih riječi prije porocesa i poslije procesa
- za podršku sesija za izradu mozaika dodan je 'reference frame mode' za uporabu ključnih riječi koje su vezane za svoj panel
- dodan je 'Linear Defect Detection' za starije senzore koji pate od tog defekta (https://pixinsight.com/tutorials/LDD-LPS/index.html)
- dodan je Pedestal za finalnu integraciju
- dodan je "continue on error" kada zakaže kalibracija proces nastavlja s radom
- dodana je detekcija količine zvijezda na referentnu fotku te je također uveden kao 'weight' u formuli za određivanje težina frame-ova.


Od ove verzije je moguće grupirati frame-ove prije procesa kalibracije i poslije procesa kalibracije. To znači da su ta dva procesa od sada odvojena. Po tome bi onda značilo slijedeće:

PRE ključna riječ: kalibracija frejmova u svoje master-e bias/dark/flat te se izvršava kalibracija Light-ova.
POST ključna riječ: nova grupacija slijedi procese poput Cosmetic Correcton, Weighting, Registracija, Integracija.

Iz tog poteza proizašla je mogućnost automatskog selektiranja referente fotke za svaki Panel ako se radio mozaik. Pri odabiru referetne fotke na padajućem izborniku se pojavulje opcija 'auto by' te isti koristi svaku grupaciju ili ti ključnu riječ/folder gdje je svaki panel snimljen te na osnovi 'težine' koju ste odabrali za tu sesiju izabire referetnu fotku te vrši procese iz POST procesa. Cool stvar za kalibriranje mozaika u jednom potezu.

PEDESTAL: mogućnost postavljanja Pedestal-a na light Frejmove da se izbjegnu negativne vrijednosti piksela nakon DARK substraction (oduzimanja Dark-a). Za CMOS senzore je preporucen PEDESTAL od 800-1000 DN-a. Osobno nisam nikad pomicao Pedestal sa vrijednosti 0 pa iskreno neznam repozanti razliku sa i bez, kasnije se ubacuje automatizirani Pedestal.

Detaljniji INFO o ovoj nadogradnji je na PI forumu:
https://pixinsight.com/forum/index.php?threads/wbpp-v2-1-released.16638/




v2.2.0

3.9.2021. izašla je verzija 2.2.0 zajedno sa novom PI verzijom 1.8.8-9.

Nadogranje:
- separacija kalibracijskog (Pre-process) procesa i Post-Process-a u zasebne tabove
- mogućnost odvajanja RGB kanala za OSC kamere.
- tolerancija ekspozicije uvedena u Post-Proces tab
- mogućnost korištenja više od jednog template-a kozmetičke korekcije ovsino o binning-u
- poboljšana sintaksa ključnih riječi

Ova verzija je dobila odličan dodatak odvajanja RGB kanala za OSC kamere. To je omogućilo da se referetna fotografija (najrealnije u zelenom kanalu zbog duplih piksela bayer matrice) koristi za ispravak distorzije zbog moguće aberacije naših optika, bilo fotografskih objektiva koji dosta pate od tog do loših refraktora. Alat može razdvojiti kanale te ih kao takve registrirati po jednoj referetnoj fotki.

Detaljniji INFO o ovoj nadogradnji je na PI forumu:
https://pixinsight.com/forum/index.php?threads/wbpp-v2-2-released.17109/
Dodatni info je također na nadogradnji PI-a.
https://pixinsight.com/forum/index.php?threads/pixinsight-1-8-8-9-released.17106/




v2.3.0

13.11.2021. izašla je verzija 2.3.0. zajedno sa novom PI verzijom 1.8.8-10.

Nadogranje:
- nove opcije za mjerenje težine - PSF Signal, PSF Power, SNR Estimate (SNR Weight)
- dodane opcije 'PSF signal' i 'PSF power' unutar 'Weighting Formula' opcije za analizu težine light frejmova
- prozor za dijagnostiku je poboljšan sa lijepim bojama sada.

PSF Signal i PSF Power (Point Spread Function) su novo nastali algoritmi za analizu težine light frejmova koristeci PSF fotometriju prilikom analize RAW podataka. Također ova 2 algoritma su izbacili korištenje analize na bazi šuma koja je bila default opcija do sada. Također je poboljšan algoritam za SNR (Signal to noise ratio) te je uveden kao zasebna opcija u padajućem izborniku. Time je samo poboljšan način određivanja najbolje referetne fotke te su podaci o težini frejmova precizniji. Tko bi ga više znao sad s tolko opcija. Osobno sam koristio formule i dobro su radile, nakon ovog update-a sam koristio PSF Signal i nisam osjetio da je nešto različito.

Detalji na PI forumu:
https://pixinsight.com/forum/index.php?threads/wbpp-2-3-0-released.17476/
https://pixinsight.com/forum/index.php?threads/pixinsight-1-8-8-10-released.17471/



v2.4.0

15.3.2022. izašla je verzija 2.4.0 zajedno sa novom PI verzijom 1.8.9

Nadogradnje:
- opet promjena opcija za mjerenje težine - PSF Signal Weight, PSF SNR
- naravno ista promjena i u 'Weighting Formula' prozoru
- uvedena je opcija 'Local Normalization' u proces između registracije i integracije
- uveden je novi rejaction algoritam - RCR (Robust Chauvenet Rejaction) (https://iopscience.iop.org/article/10.3847/1538-4365/aad23d)
- uveden je automatski Pedestal za svaku Light frame grupu
- post Process preimenovan u Post Calibration
- kozmetička korekcija moguća sada i za svaku grupu light frejmova
- dodani globalni 'presetovi' po kvaliteti u odnosu na brzinu (max quality, good quality, lower quality)
- dijagnostika od sada može sama generirati 'screen shots' greški ukoliko se iste pojave radi lakšeg prijavljivanja na PI podršku

Kako je nadogradnja Pixinsight-a uvela nadograđene algoritme za analizu težine frejmova ista se morala implemetirati na WBPP pa sada imamo opet nove nazive za analizu. PSF Signal Weight (PSFSW) i PSF SNR. Algoritmi rade na drugaciji nacin u odnosu na prijašnju verziju. Sve o tome se može pročitati u detaljnoj dokumentaciji na https://pixinsight.com/doc/docs/ImageWeighting/ImageWeighting.html

Local normalization je bio postojeći alat unutar PI-a ali s ovom verzijom su ga skroz nadogradili te redizajnirali i kao tavkog su ga uveli u WBPP proces. LN je alat koji analizira gradijente nastale na light frejmovima uzrokovanim tankim oblacima, sjajem Mjeseca, svjetlosnim onečišćenjem, sjajem noćnog neba itd. te ih pokušava odstraniti prema jednoj referentoj fotki koja ima najslabiji utjecaj tog onečišćenja. Sve se to radi zbog lakše integracije te finalnog čišćenja gradijenta.


Detalji na PI forumu:
https://pixinsight.com/forum/index.php?threads/wbpp-2-4-0-released.18182/
https://pixinsight.com/forum/index.php?threads/pixinsight-1-8-9-released.18148/




v2.4.3

19.5.2022. izašla je verzija 2.4.3 zajedno sa novom PI verzijom 1.8.9-1

Nadogradnje:
- uveden monitor izvršavanja (Execution Monitor)
- uveden još jedan mjernik težine - PSF Scale SNR (pratite kolko ih ima?)
- dijagnoza priakzuje kolko diska treba za cijeli proces
- mogućnost smanjivanja prozora za manje ekrane
- adaptacija novog star detectora V2 prilikom registracije
- mogućnost biranja referente fotke za lokalnu normalizaciju (PSF Signal Weight, PSF SNR, M*, Median, Number of Stars)
- uveden ručni unos minimalne vrijednosti težine prilikom integracije poradi izbacivanja frejmova sa vrijdnostima ispod zadanog

Uveden je monitor/prozor na kojem se sada može pratit tijek procesa uživo. Također je uveden novi algoritam za mjerenje težine 'PSF Scale SNR' i usko je vezan za lokalnu normalizaciju stoga se koristi ukoliko se koristi i LN, inače ne.

Detalji na PI forumu:
https://pixinsight.com/forum/index.php?threads/wbpp-2-4-3-released.18530/
https://pixinsight.com/forum/index.php?threads/pixinsight-1-8-9-1-released.18527/




v2.4.4

26.5.2022. je već izašla verzija 2.4.4.

Nadogradnje:
- mogućnost smanjivanja prozora na sve vrste manjih ekrana
- novi gumbić za reset alata, gore desno
- dodano par parametara unutar lokalne normalizacije

Ništa specijalno u ovoj verziji pošto je izašla samo tjedan dana nakon 2.4.3

Detalji na PI forumu:
https://pixinsight.com/forum/index.php?threads/wbpp2-4-4-released.18569/


v2.4.5

7.6.2022. je izašla verzija 2.4.5.

Nadogranje:
- interaktivna selekcija referetne fotke za lokalnu normalizaciju
- mogućnost naknadnog spajanja RGB kanala nakon razdvajanja istih

Interaktivna selekcija pruža mogućnost da sami ručno odaberete referetnu fotku za lokalnu normalizaciju. Kratki tutorial je na linku dolje na PI forum. Dodatna opcija za spajanje kanala samo skracuje proces da to napravite ručno. Dodatno se radi master light za spojene kanale.


Detalji na PI forumu:
https://pixinsight.com/forum/index.php?threads/wbpp-2-4-5-released.18642/



v2.5.0

8.9.2022. izašla je verzija 2.5.0.

Nadogranje:
- novi 'Caching' sistem
- pipeline tab (popis svih procesa koji će se odraditi)
- uvedena astrometrija (čita podatke sa FITS headera koje implementira u master light)
- uvedena drizzle integracija
- mogućnost separacije samo jednog kanala sa OSC kamere
- hrpa sitnih ispravki i dodataka (ajde stisni na taj link dolje, I dare you!!)

Mogćnost keširanja određenih procesa ukoliko se prekine process da bi se neke opcije promjenile (weighting,cc,debayering,registration), na taj način određeni procesi koji nisu trebali promjenu će biti preskočeni jer su već keširani.

Pipeline tab je popis svih procesa i poredak. Također ima i prikaz zauzeća na disku za svaki proces. Dodatno je kreirani Pipeline skripta. Više o tome na linku https://pixinsight.com/forum/index.php?threads/wbpp-2-5-scripting-the-pipeline.19120/
Procesi za ručno biranje referente fotke za lokalnu normalizaciju su spojeni da budu jedan iza drugog tako ne da se ne mora čekati svaki proces zasebno da završi da bi mogli ručno odabradi ref. fotku.

Uvedena je Astrometrija na bazi koordinata zapisanih u RAW FIT, ukoliko ista ne postoji može se ručno podesiti kada se pojavi izbornik Image Solver-a. Ista se sprema u referetnu fotku te se na kraju kopira na svaku registriranu fotku te se zapisuje na finalnu integriranu fotku.

Ono što sam ja osobno napokon dočekao je Drizzle koji je sada implementiran u automatizirani proces. Pošto radim sa OSC kamerom, CFA drizzle je 'must have' opcija i sada ju ne moram raditi zasebno već ju odradi alat i izbaci mi drizzle integrirani master zasebno.

Detalji na PI forumu:
https://pixinsight.com/forum/index.php?threads/wbpp-2-5-0-released.19112/



v2.5.4

21.11.2022. izašla je zadnja verzija 2.5.4.

Nadogradnje:
- autocrop opcija
- prijevremeno izvješće o tome da li će datoteka imati više od 256 znakova (Windows limitacija)

Uz dolazak astrometrije dodana je opcija Auto Crop-a. Bazirana na način da odreže piksele koji sadržavaju 'low/high rejecation' vrijednosti pritom ne gubeći astrometriju sa FITS header-a.

Detalji na PI forumu:
https://pixinsight.com/forum/index.php?threads/wbpp-2-5-4-released.19604/




Dodatno:

Dosta ovih promjena je pokrio i Adam Block u svojim videima vezani samo za WBPP pa ako želite naučiti detalje možete proći njegove tutove. Po meni odličan sadržaj ako želiš naučit radit s WBPP-om.

https://youtube.com/playlist?list=PLAzMa9eIVQkBmzPneF8hCgqwkrxsk7CDn

Mišljenje autora ovog posta:
WBPP je po meni superironi alat za stakiranje koji sadrži najbolje algoritme za kreaciju Master-a (bias/dark/flat/light). Iako slovi kao spori i komplicirani alat, jednom kada se dobro nauči gotovo da i nema alternativu. Kao što i vidite sada se aktivno nadograđuje te postaje nazamjeniv alat za stakiranje. Zaključio bi da je razlika sužena između ručnog i automatskog procesa.

[Neven]

v2.5.8-2.5.9

2.2.2023. izašla je zadnja verzija 2.5.8.

Nadogradnje:
- dodatak za unos astrometrije prije stakiranja
- nove kolumne dodatne za right ascension, declination, focal length, pixel size na light frames box-u (hide/show astrometry tab)
- Napokon mogućnost bayer drizzle prilikom separacije OSC kanala
- overscan metadata
- spremanje postavki ukoliko dođe do rušenja aplikacije


Za sve updejtove/bug fixeve odite na na link dolje. Od bitnijih su unos astrometije prije stakiranja. To su RA/DEC/FOCAL/PIXELSIZE podaci ukoliko isti ne postoje u FITs fajlu. (to je za nas koji još fotkaju sa DSLRom) 
Mogućnost bayer drizzle prilikom separacije kanala za OSC materijal je po meni finalna točka automatiziranog stakiranja gdje nam finalni stack ima savršeno poravnavnje kanala te bayer drizzle. To je must have opcija ako želite maksimum od svojeg OSC materijala.

Detalji na PI forumu:
https://pixinsight.com/forum/index.php?threads/wbpp-2-5-8-released-including-updates-since-v2-5-5.20256/