Dual ISO - massive dynamic range improvement (dual_iso.mo)

[Walter Schulz]

For analysis original file is needed.
And if you worried about those horizontal bands: That's what Dual-ISO is all about. You have to postprocess Dual-ISO files with cr2hdr or or other utilities able to deal with interlaced ISO. See post-processing forum and read first post of this thread, too.

[Sapporo]

Tried in my 5d Mark II and I get these strong bands in photos
https://www.dropbox.com/s/2br0b39s5125lsv/Image%20139.png?dl=0

I use this https://www.magiclantern.fm/forum/index.php?topic=9102.0

I have replaced cr2hdr in Barracuda folder with this cr2hdr https://builds.magiclantern.fm/utilities.html

[vicshift]

Thanks, it is clear now.

[Jon OapostropheBrien]

...or other utilities able to deal with interlaced ISO.

There are others?

[Jon OapostropheBrien]

Quote from: Walter Schulz on March 20, 2018, 01:39:45 PM
...or other utilities able to deal with interlaced ISO.

>  There are others?

Would someone who knows comment please? I'm sure that others would be interested to know that there are other utilities able to process dual ISO files.

[Danne]

Are you on mac? Switch maybe works for you.

[Jon OapostropheBrien]

Are you on mac?

No Windoze 7.

Thanks for the suggestion, though.

[ArcziPL]

Hello,

first of all welcome and kudos for all participating in development of ML! That's a great work!

The Dual ISO feature was the most exciting one, wanting me try ML out. Unfortunately, years ago I had an unsupported 450D and now I'm still quite unlucky with both of my actual bodies (700D & 70D) which should theoretically be supported.

700D

The camera was bought late 2016. Its S/N starts with 42*, so it's most probably manufactured June 2016 and thus it's a late production model. Originally delivered with FW 1.1.4, later updated to 1.1.5. I was using ML versions for both firmware versions.

On all versions of ML for FW 1.1.4 - 1.1.5, activating the Dual ISO leads to an immediate error "ISOless PH err(x)". Like in https://bitbucket.org/hudson/magic-lantern/issues/2427/700d-dual_iso-isoless-ph-err-15 but with a different error number (can't recollect now and the camera is away but I can reproduce it anytime if it helps). Trying to restart camera, change mode (M, Av, P...), altering settings in the original firmware did not help. I tried a dozen of times during the 1,5 year of when the camera is in my possession. Never made it working.

Does anyone feel fond of digging in (A1ex?)? How could I support you? Should I prepare ROM and RAM dumps?


70D

Serial number starts with 26*, so the camera is probably from February 2015. Much newer than when porting to 70D started. Two versions of ML for 70D, now merged into one build, were developed for cameras manufactured in 2013 (S/N were starting with 0* and 12*).

Here it seems to work on the camera level fine. The problem appears when converting the cr2 into dng using the provided cr2hdr. I have tried builds 18 and 27. Both behave the same.

The file after conversion seems to be the bright frame only. All highlights, which are clearly visible in the cr2 are gone in dng. I am using ACR 10 in my workflow but tried also LR 6 with the same result (including usage of LR plugin). However, FastStone Viewer does not show this behaviour, it opens the dng file preserving both highlights and shadows, so it made me think that maybe ACR interprets the file differently. But... you all seem to use ACR or LR, so it should work. I tried also some dual iso cr2 samples from different forums, converting them on my own with cr2hdr and they opened fine, so it seemed to be related to my camera.


Original CR2 from my 70D with AFAIR 100/1600 Dual ISO (1:1 crop):



Final DNG after processing with cr2hdr build 27 with default settings. The highlights are missing.



Here final DNG after darkening in ACR. You can already recognize artifacts due to reduced resolution and... again the missing highlights.



Fun fact: when running cr2hdr with --debug-blend the fullres_smooth.dng looks perfect (it seems to include the highlights from dark frame and shadows from bright frame). I believe the only difference between fullres_smooth and final dng should be the lack of EXIF in fullres_smooth. So, I tried stripping the final dng of the complete EXIF (exiftool -all= xxx.dng; btw awesome manual but tl;dr) and... yes, now this file opens in ACR fine, same as fullres_smooth. Here my full appreciation, the hack is gorgeous! I am pleased to see the significant improvement in shadows pushed by +4EV whereas the partial loss of vertical resolution is for me a low price to pay, having a 20Mpx sensor. Finally my camera can compete with my wife's Pentax K3 in the noise category.


Here fullres_smooth.dng (or final with stripped down EXIF). All data is in!



The next step could be analyzing what fields are set in EXIF and track the one property down, which causes ACR to cut the highlights. I believe maybe there is something about the bit depth, causing ACR to overflow in the bitdepth it is using?

Summary: the problem is camera specific, as other dual iso cr2, which I downloaded from internet (e.g. from 650D) are opening after conversion with my toolchain properly. My 70D is, however, affected.

Could you please have a look at the problem, so the converter works out of the box, preventing the others falling into the same issue as me?

Attachments:
original CR2 [removed, PM if you need it]
final DNG processed with cr2hdr build 27 [removed, PM if you need it]

conversion log:

Code Select Expand

c:\PortableApps\MagicLanternDualISO>cr2hdr IMG_3925.CR2                                   
cr2hdr: a post processing tool for Dual ISO images                                       
                                                                                         
Last update: 06fae84 on 2017-12-03 23:53:11 UTC by alex:                                 
cr2hdr: experiment - yet another exposure matching algorithm                             
                                                                                         
Active options:                                                                           
--amaze-edge    : use a temporary demosaic step (AMaZE) followed by edge-directed interpol
ation (default)                                                                           
--cs2x2         : apply 2x2 chroma smoothing in noisy and aliased areas (default)         
--wb=graymax    : set AsShotNeutral by maximizing the number of gray pixels (default)     
                                                                                         
Input file      : IMG_3925.CR2                                                           
Camera          : Canon EOS 70D                                                           
Full size       : 5568 x 3708                                                             
Active area     : 5496 x 3670                                                             
Black borders   : 72 left, 38 top                                                         
Black level     : 2048                                                                   
ISO pattern     : dBBd RGGB                                                               
White levels    : 13485 12090                                                             
Noise levels    : 6.48 11.06 11.45 6.39 (14-bit)                                         
Linear fit      : y = 8.1888*x - 1.39                                                     
Linear fit      : y = 8.1838*x - 1.25                                                     
Linear fit      : y = 8.1826*x - 1.25                                                     
Linear fit      : y = 8.1817*x - 1.24                                                     
Linear fit      : y = 8.1806*x - 1.24                                                     
ISO difference  : 3.03 EV (818)                                                           
Black delta     : 4.33                                                                   
Black adjust    : -0.0                                                                   
Dynamic range   : 10.81 (+) 9.78 => 12.81 EV (in theory)                                 
Looking for hot/cold pixels...                                                           
Hot pixels      : 63                                                                     
Cold pixels     : 10379                                                                   
AMaZE interpolation ...                                                                   
Amaze took 2.24 s                                                                         
Edge-directed interpolation...                                                           
Semi-overexposed: 29.70%                                                                 
Deep shadows    : 55.25%                                                                 
Horizontal stripe fix...                                                                 
38: offset too large (18327)                                                             
3707: offset too large (-8555)                                                           
Full-res reconstruction...                                                               
ISO overlap     : 4.8 EV (approx)                                                         
Half-res blending...                                                                     
Chroma smoothing...                                                                       
Building alias map...                                                                     
Filtering alias map...                                                                   
Smoothing alias map...                                                                   
Final blending...                                                                         
Noise level     : 71.72 (20-bit), ideally 71.59                                           
Dynamic range   : 13.32 EV (cooked)                                                       
Black adjust    : -0.0                                                                   
AsShotNeutral   : 0.49 1 0.60, 5222K/g=0.96 (gray max)                                   
Output file     : IMG_3925.DNG (already exists, overwriting)                             
IMG_3925.DNG    : copying EXIF from IMG_3925.CR2 

[a1ex]

Found something:

Code Select Expand


White Level                     : 53940
Normal White Level              : 11765
Specular White Level            : 12277


Does it help if you delete the last two tags, or set them to the same value as White Level? (sorry, I don't use ACR)

BTW, Adobe's own dng_validate renders this DNG properly, without discarding any highlights. RawTherapee, Darktable and dcraw are also rendering the file properly.

[Danne]

There's a bug in older builds of adobe which messes up the 70D tag in acr in dng files even though it's a perfectly valid file. Seems fixed in later versions. It's possible to change 70D to 6D tag and it opens. Didn't check the provided file.

[theBilalFakhouri]

@ArcziPL

I had the same problem on 700D, Fortunately it resolved and you can test the build in the same page make sure you are on 1.1.5 canon firmware and report back please.

[ArcziPL]

@a1ex @Danne
Brilliant, the tag UniqueCameraModel changed from "Canon EOS 70D" to "Canon EOS 6D" or actually something artificial like e.g. "Canon EOS 70D DualISO" indeed causes the image to open properly in ACR 9 and 10. It means they really treat the data differently for just this camera model. Funny.

Regarding the tags NormalWhiteLevel and SpecularWhiteLevel -- they have some influence. I changed them to the value of 53940, later to the max 65535 (exiftool reports, that the type of this property is int16u). There are then some more details in highlights visible but still not all.

I have checked how does Adobe DNG converter modify EXIF when converting a standard non-DualISO CR2 into DNG.

Here an example:

cr2:

Code Select Expand

ExifToolVersion                 : 10.02
FileName                        : IMG_3923.cr2
Directory                       : .
FileSize                        : 23 MB
FileModifyDate                  : 2018:04:02 14:18:07+02:00
FileAccessDate                  : 2018:04:11 19:48:41+02:00
FileCreateDate                  : 2018:04:11 19:48:41+02:00
FilePermissions                 : rw-rw-rw-
FileType                        : CR2
FileTypeExtension               : cr2
MIMEType                        : image/x-canon-cr2
ExifByteOrder                   : Little-endian (Intel, II)
ImageWidth                      : 5472
ImageHeight                     : 3648
BitsPerSample                   : 8 8 8
Compression                     : JPEG (old-style)
Make                            : Canon
Model                           : Canon EOS 70D
PreviewImageStart               : 91316
Orientation                     : Horizontal (normal)
PreviewImageLength              : 1410814
XResolution                     : 72
YResolution                     : 72
ResolutionUnit                  : inches
ModifyDate                      : 2018:04:02 14:18:05
Artist                          :
Rating                          : 0
Copyright                       :
ExposureTime                    : 1/50
FNumber                         : 4.5
ExposureProgram                 : Manual
ISO                             : 200
SensitivityType                 : Recommended Exposure Index
RecommendedExposureIndex        : 200
ExifVersion                     : 0230
DateTimeOriginal                : 2018:04:02 14:18:05
CreateDate                      : 2018:04:02 14:18:05
ComponentsConfiguration         : Y, Cb, Cr, -
ShutterSpeedValue               : 1/49
ApertureValue                   : 4.6
Flash                           : Off, Did not fire
FocalLength                     : 17.0 mm
MacroMode                       : Normal
SelfTimer                       : Off
Quality                         : RAW
CanonFlashMode                  : Off
ContinuousDrive                 : Single, Silent
FocusMode                       : One-shot AF
RecordMode                      : CR2
CanonImageSize                  : n/a
EasyMode                        : Manual
DigitalZoom                     : None
Contrast                        : Normal
Saturation                      : Normal
MeteringMode                    : Evaluative
FocusRange                      : Not Known
CanonExposureMode               : Manual
LensType                        : Canon EF-S 17-55mm f/2.8 IS USM
MaxFocalLength                  : 55 mm
MinFocalLength                  : 17 mm
FocalUnits                      : 1/mm
MaxAperture                     : 2.8
MinAperture                     : 23
FlashActivity                   : 0
FlashBits                       : (none)
ZoomSourceWidth                 : 0
ZoomTargetWidth                 : 0
ManualFlashOutput               : n/a
ColorTone                       : Normal
SRAWQuality                     : n/a
AutoISO                         : 100
BaseISO                         : 200
MeasuredEV                      : 9.25
TargetAperture                  : 4.5
TargetExposureTime              : 1
ExposureCompensation            : 0
WhiteBalance                    : Auto
SlowShutter                     : None
SequenceNumber                  : 0
OpticalZoomCode                 : n/a
CameraTemperature               : 31 C
FlashGuideNumber                : 0
FlashExposureComp               : 0
AutoExposureBracketing          : Off
AEBBracketValue                 : 0
ControlMode                     : Camera Local Control
MeasuredEV2                     : 9.5
BulbDuration                    : 0
CameraType                      : EOS High-end
NDFilter                        : n/a
CanonImageType                  : Canon EOS 70D
CanonFirmwareVersion            : Firmware Version 1.1.2
CameraOrientation               : Horizontal (normal)
FirmwareVersion                 : 1.1.2
FileIndex                       : 3923
DirectoryIndex                  : 100
ContrastStandard                : 0
SharpnessStandard               : 3
SaturationStandard              : 0
ColorToneStandard               : 0
ContrastPortrait                : 0
SharpnessPortrait               : 2
SaturationPortrait              : 0
ColorTonePortrait               : 0
ContrastLandscape               : 0
SharpnessLandscape              : 4
SaturationLandscape             : 0
ColorToneLandscape              : 0
ContrastNeutral                 : 0
SharpnessNeutral                : 0
SaturationNeutral               : 0
ColorToneNeutral                : 0
ContrastFaithful                : 0
SharpnessFaithful               : 0
SaturationFaithful              : 0
ColorToneFaithful               : 0
ContrastMonochrome              : 0
SharpnessMonochrome             : 3
FilterEffectMonochrome          : None
ToningEffectMonochrome          : None
ContrastAuto                    : 0
SharpnessAuto                   : 3
SaturationAuto                  : 0
ColorToneAuto                   : 0
FilterEffectAuto                : n/a
ToningEffectAuto                : n/a
ContrastUserDef1                : 0
SharpnessUserDef1               : 3
SaturationUserDef1              : 0
ColorToneUserDef1               : 0
FilterEffectUserDef1            : None
ToningEffectUserDef1            : None
ContrastUserDef2                : 0
SharpnessUserDef2               : 3
SaturationUserDef2              : 0
ColorToneUserDef2               : 0
FilterEffectUserDef2            : None
ToningEffectUserDef2            : None
ContrastUserDef3                : 0
SharpnessUserDef3               : 3
SaturationUserDef3              : 0
ColorToneUserDef3               : 0
FilterEffectUserDef3            : None
ToningEffectUserDef3            : None
UserDef1PictureStyle            : Auto
UserDef2PictureStyle            : Auto
UserDef3PictureStyle            : Auto
CanonModelID                    : EOS 70D
ThumbnailImageValidArea         : 0 159 7 112
AFAreaMode                      : Flexizone Single
NumAFPoints                     : 31
ValidAFPoints                   : 1
CanonImageWidth                 : 5472
CanonImageHeight                : 3648
AFImageWidth                    : 5472
AFImageHeight                   : 3648
AFAreaWidths                    : 552 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
AFAreaHeights                   : 736 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
AFAreaXPositions                : 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
AFAreaYPositions                : 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
AFPointsInFocus                 : 0
AFPointsSelected                : 0
TimeZone                        : +00:00
TimeZoneCity                    : London
DaylightSavings                 : Off
BracketMode                     : Off
BracketValue                    : 0
BracketShotNumber               : 0
RawJpgSize                      : Large
WBBracketMode                   : Off
WBBracketValueAB                : 0
WBBracketValueGM                : 0
LiveViewShooting                : On
FocusDistanceUpper              : 1.63 m
FocusDistanceLower              : 1.45 m
FlashExposureLock               : Off
InternalSerialNumber            : FA1848004
DustRemovalData                 : (Binary data 1024 bytes, use -b option to extract)
CropLeftMargin                  : 0
CropRightMargin                 : 0
CropTopMargin                   : 0
CropBottomMargin                : 0
ExposureLevelIncrements         : 1/3 Stop
ISOSpeedIncrements              : 1 Stop
AEBAutoCancel                   : On
AEBSequence                     : 0,-,+
AEBShotCount                    : 3 shots
SafetyShift                     : Disable
AIServoTrackingSensitivity      : Standard
AccelerationTracking            : 0
AIServoFirstImagePriority       : Equal priority
AIServoSecondImagePriority      : Equal priority
AFAssistBeam                    : Emits
LensDriveNoAF                   : Focus search on
SelectAFAreaSelectMode          : Disable; Flags 0x7
AFAreaSelectMethod              : AF area selection button
OrientationLinkedAFPoint        : Same for vertical and horizontal
ManualAFPointSelectPattern      : Stops at AF area edges
AFPointDisplayDuringFocus       : On
SuperimposedDisplay             : Off
AFMicroadjustment               : Adjust all by same amount; 0; 4; 7; 2; 10; 0; 0; 0; 0; 0; 0; 0; 0; 0; 0
DialDirectionTvAv               : Normal
MultiFunctionLock               : Off; Quick control dial
ViewfinderWarnings              : Monochrome, WB corrected
CustomControls                  : 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
AspectRatio                     : 3:2
CroppedImageWidth               : 5472
CroppedImageHeight              : 3648
CroppedImageLeft                : 0
CroppedImageTop                 : 0
ToneCurve                       : Standard
Sharpness                       : 3
SharpnessFrequency              : n/a
SensorRedLevel                  : 0
SensorBlueLevel                 : 0
WhiteBalanceRed                 : 0
WhiteBalanceBlue                : 0
ColorTemperature                : 5200
PictureStyle                    : Auto
DigitalGain                     : 0
WBShiftAB                       : 0
WBShiftGM                       : 0
MeasuredRGGB                    : 449 1024 1024 735
VRDOffset                       : 0
SensorWidth                     : 5568
SensorHeight                    : 3708
SensorLeftBorder                : 84
SensorTopBorder                 : 50
SensorRightBorder               : 5555
SensorBottomBorder              : 3697
BlackMaskLeftBorder             : 0
BlackMaskTopBorder              : 0
BlackMaskRightBorder            : 0
BlackMaskBottomBorder           : 0
ColorDataVersion                : 10 (1DX/5DmkIII/6D/70D/100D/650D/700D/M)
WB_RGGBLevelsAsShot             : 2180 1024 1024 1646
ColorTempAsShot                 : 5600
WB_RGGBLevelsAuto               : 2180 1024 1024 1646
ColorTempAuto                   : 5600
WB_RGGBLevelsMeasured           : 2180 1024 1024 1646
ColorTempMeasured               : 5600
WB_RGGBLevelsDaylight           : 2123 1024 1024 1733
ColorTempDaylight               : 5200
WB_RGGBLevelsShade              : 2485 1024 1024 1494
ColorTempShade                  : 7000
WB_RGGBLevelsCloudy             : 2294 1024 1024 1606
ColorTempCloudy                 : 6000
WB_RGGBLevelsTungsten           : 1485 1024 1024 2515
ColorTempTungsten               : 3200
WB_RGGBLevelsFluorescent        : 1824 1024 1024 2383
ColorTempFluorescent            : 3733
WB_RGGBLevelsKelvin             : 2123 1024 1024 1733
ColorTempKelvin                 : 5200
WB_RGGBLevelsFlash              : 2356 1024 1024 1603
ColorTempFlash                  : 6185
AverageBlackLevel               : 2049 2049 2049 2049
RawMeasuredRGGB                 : 371333 863562 865350 598106
PerChannelBlackLevel            : 2049 2049 2049 2049
NormalWhiteLevel                : 14580
SpecularWhiteLevel              : 15092
LinearityUpperMargin            : 10000
CustomPictureStyleFileName      :
AFMicroAdjMode                  : Disable
AFMicroAdjValue                 : 0
VignettingCorrVersion           : 0
PeripheralLighting              : On
ChromaticAberrationCorr         : On
PeripheralLightingValue         : 66
OriginalImageWidth              : 5472
OriginalImageHeight             : 3648
PeripheralLightingSetting       : On
ChromaticAberrationSetting      : On
PeripheralIlluminationCorr      : Off
AutoLightingOptimizer           : Off
HighlightTonePriority           : Off
LongExposureNoiseReduction      : Off
HighISONoiseReduction           : Standard
AmbienceSelection               : Standard
MultiExposure                   : Off
MultiExposureControl            : Additive
MultiExposureShots              : 0
GrainyBWFilter                  : Off
SoftFocusFilter                 : Off
ToyCameraFilter                 : Off
MiniatureFilter                 : Off
MiniatureFilterOrientation      : Horizontal
MiniatureFilterPosition         : 0
MiniatureFilterParameter        : 0
FisheyeFilter                   : Off
PaintingFilter                  : Off
WatercolorFilter                : Off
HDR                             : Off
HDREffect                       : Natural
UserComment                     :
SubSecTime                      : 30
SubSecTimeOriginal              : 30
SubSecTimeDigitized             : 30
FlashpixVersion                 : 0100
ColorSpace                      : sRGB
ExifImageWidth                  : 5472
ExifImageHeight                 : 3648
InteropIndex                    : R98 - DCF basic file (sRGB)
InteropVersion                  : 0100
FocalPlaneXResolution           : 6086.76307
FocalPlaneYResolution           : 6090.15025
FocalPlaneResolutionUnit        : inches
CustomRendered                  : Normal
ExposureMode                    : Manual
SceneCaptureType                : Standard
OwnerName                       :
SerialNumber                    : 263058002874
LensInfo                        : 17-55mm f/0
LensModel                       : EF-S17-55mm f/2.8 IS USM
LensSerialNumber                : 000003f54b
GPSVersionID                    : 2.3.0.0
ThumbnailOffset                 : 80600
ThumbnailLength                 : 10714
PhotometricInterpretation       : RGB
SamplesPerPixel                 : 3
RowsPerStrip                    : 309
PlanarConfiguration             : Chunky
StripOffsets                    : 2362388
StripByteCounts                 : 21303278
RawImageSegmentation            : 1 2784 2784
SRawType                        : 1
Aperture                        : 4.5
DriveMode                       : Continuous Shooting
FileNumber                      : 100-3923
ImageSize                       : 5472x3648
Lens                            : 17.0 - 55.0 mm
LensID                          : Canon EF-S 17-55mm f/2.8 IS USM
Megapixels                      : 20.0
PreviewImage                    : (Binary data 1410814 bytes, use -b option to extract)
ScaleFactor35efl                : 1.6
ShootingMode                    : Manual
ShutterSpeed                    : 1/50
SubSecCreateDate                : 2018:04:02 14:18:05.30
SubSecDateTimeOriginal          : 2018:04:02 14:18:05.30
SubSecModifyDate                : 2018:04:02 14:18:05.30
ThumbnailImage                  : (Binary data 10714 bytes, use -b option to extract)
WB_RGGBLevels                   : 2180 1024 1024 1646
BlueBalance                     : 1.607422
CircleOfConfusion               : 0.019 mm
DOF                             : 1.75 m (1.06 - 2.81 m)
FOV                             : 67.8 deg
FocalLength35efl                : 17.0 mm (35 mm equivalent: 26.8 mm)
HyperfocalDistance              : 3.37 m
Lens35efl                       : 17.0 - 55.0 mm (35 mm equivalent: 26.8 - 86.7 mm)
LightValue                      : 9.0
RedBalance                      : 2.128906


dng from Adobe DNG Converter:

Code Select Expand

ExifToolVersion                 : 10.02
FileName                        : IMG_3923.dng
Directory                       : .
FileSize                        : 19 MB
FileModifyDate                  : 2018:04:11 19:19:49+02:00
FileAccessDate                  : 2018:04:11 19:48:41+02:00
FileCreateDate                  : 2018:04:11 19:48:41+02:00
FilePermissions                 : rw-rw-rw-
FileType                        : DNG
FileTypeExtension               : dng
MIMEType                        : image/x-adobe-dng
ExifByteOrder                   : Little-endian (Intel, II)
Make                            : Canon
Model                           : Canon EOS 70D
StripOffsets                    : 200698
Orientation                     : Horizontal (normal)
RowsPerStrip                    : 171
StripByteCounts                 : 131328
Software                        : Adobe DNG Converter 9.2 (Windows)
ModifyDate                      : 2018:04:11 19:19:49
ImageWidth                      : 5568
ImageHeight                     : 3708
BitsPerSample                   : 16
Compression                     : JPEG
PhotometricInterpretation       : Color Filter Array
SamplesPerPixel                 : 1
PlanarConfiguration             : Chunky
TileWidth                       : 256
TileLength                      : 256
TileOffsets                     : (Binary data 2823 bytes, use -b option to extract)
TileByteCounts                  : (Binary data 1979 bytes, use -b option to extract)
CFARepeatPatternDim             : 2 2
CFAPattern2                     : 0 1 1 2
CFAPlaneColor                   : Red,Green,Blue
CFALayout                       : Rectangular
BlackLevelRepeatDim             : 2 2
BlackLevel                      : 2049 2049 2049 2049
WhiteLevel                      : 15000
DefaultScale                    : 1 1
DefaultCropOrigin               : 12 12
DefaultCropSize                 : 5472 3648
BayerGreenSplit                 : 250
AntiAliasStrength               : 1
BestQualityScale                : 1
ActiveArea                      : 38 72 3708 5568
SubfileType                     : Reduced-resolution image
PreviewImageStart               : 332026
PreviewImageLength              : 53907
YCbCrCoefficients               : 0.299 0.587 0.114
YCbCrSubSampling                : YCbCr4:2:0 (2 2)
YCbCrPositioning                : Co-sited
ReferenceBlackWhite             : 0 255 128 255 128 255
XMPToolkit                      : Adobe XMP Core 5.6-c011 79.156380, 2014/05/21-23:38:37
CreatorTool                     : Adobe DNG Converter 9.2 (Windows)
MetadataDate                    : 2018:04:11 19:19:49+02:00
ApproximateFocusDistance        : 1.51
FlashCompensation               : 0
Firmware                        : 1.1.2
DateCreated                     : 2018:04:02 14:18:05.30
DocumentID                      : xmp.did:5305c71a-0826-3d42-b563-40ad6b1fcf98
OriginalDocumentID              : 6D2FB39D88BAA646697AFE1DA1A160C8
InstanceID                      : xmp.iid:5305c71a-0826-3d42-b563-40ad6b1fcf98
Format                          : image/dng
HistoryAction                   : derived, saved
HistoryParameters               : converted from image/x-canon-cr2 to image/dng, saved to new location
HistoryInstanceID               : xmp.iid:5305c71a-0826-3d42-b563-40ad6b1fcf98
HistoryWhen                     : 2018:04:11 19:19:49+02:00
HistorySoftwareAgent            : Adobe DNG Converter 9.2 (Windows)
HistoryChanged                  : /
DerivedFromDocumentID           : 6D2FB39D88BAA646697AFE1DA1A160C8
DerivedFromOriginalDocumentID   : 6D2FB39D88BAA646697AFE1DA1A160C8
ExposureTime                    : 1/50
FNumber                         : 4.5
ExposureProgram                 : Manual
ISO                             : 200
SensitivityType                 : Recommended Exposure Index
RecommendedExposureIndex        : 200
ExifVersion                     : 0230
DateTimeOriginal                : 2018:04:02 14:18:05
CreateDate                      : 2018:04:02 14:18:05
ShutterSpeedValue               : 1/50
ApertureValue                   : 4.5
MaxApertureValue                : 2.8
Flash                           : Off, Did not fire
FocalLength                     : 17.0 mm
SubSecTimeOriginal              : 30
SubSecTimeDigitized             : 30
FocalPlaneXResolution           : 2452.118652
FocalPlaneYResolution           : 2452.118652
FocalPlaneResolutionUnit        : cm
CustomRendered                  : Normal
ExposureMode                    : Manual
SceneCaptureType                : Standard
SerialNumber                    : 263058002874
LensInfo                        : 17-55mm f/?
ImageNumber                     : 0
DNGVersion                      : 1.4.0.0
DNGBackwardVersion              : 1.1.0.0
UniqueCameraModel               : Canon EOS 70D
ColorMatrix1                    : 0.7546 -0.1435 -0.0929 -0.3846 1.1488 0.2692 -0.0332 0.1209 0.637
ColorMatrix2                    : 0.7034 -0.0804 -0.1014 -0.442 1.2564 0.2058 -0.0851 0.1994 0.5758
CameraCalibration1              : 0.9534 0 0 0 1 0 0 0 0.9602
CameraCalibration2              : 0.9534 0 0 0 1 0 0 0 0.9602
AnalogBalance                   : 1 1 1
AsShotNeutral                   : 0.469725 1 0.622114
BaselineExposure                : 0.25
BaselineNoise                   : 0.8
BaselineSharpness               : 1.25
LinearResponseLimit             : 1
CameraSerialNumber              : 263058002874
DNGLensInfo                     : 17-55mm f/?
ShadowScale                     : 1
MacroMode                       : Normal
SelfTimer                       : Off
Quality                         : RAW
CanonFlashMode                  : Off
ContinuousDrive                 : Single, Silent
FocusMode                       : One-shot AF
RecordMode                      : CR2
CanonImageSize                  : n/a
EasyMode                        : Manual
DigitalZoom                     : None
Contrast                        : Normal
Saturation                      : Normal
MeteringMode                    : Evaluative
FocusRange                      : Not Known
CanonExposureMode               : Manual
LensType                        : Canon EF-S 17-55mm f/2.8 IS USM
MaxFocalLength                  : 55 mm
MinFocalLength                  : 17 mm
FocalUnits                      : 1/mm
MaxAperture                     : 2.8
MinAperture                     : 23
FlashActivity                   : 0
FlashBits                       : (none)
ZoomSourceWidth                 : 0
ZoomTargetWidth                 : 0
ManualFlashOutput               : n/a
ColorTone                       : Normal
SRAWQuality                     : n/a
AutoISO                         : 100
BaseISO                         : 200
MeasuredEV                      : 9.25
TargetAperture                  : 4.5
TargetExposureTime              : 1
ExposureCompensation            : 0
WhiteBalance                    : Auto
SlowShutter                     : None
SequenceNumber                  : 0
OpticalZoomCode                 : n/a
CameraTemperature               : 31 C
FlashGuideNumber                : 0
FlashExposureComp               : 0
AutoExposureBracketing          : Off
AEBBracketValue                 : 0
ControlMode                     : Camera Local Control
MeasuredEV2                     : 9.5
BulbDuration                    : 0
CameraType                      : EOS High-end
NDFilter                        : n/a
CanonImageType                  : Canon EOS 70D
CanonFirmwareVersion            : Firmware Version 1.1.2
OwnerName                       :
CameraOrientation               : Horizontal (normal)
FirmwareVersion                 : 1.1.2
FileIndex                       : 3923
DirectoryIndex                  : 100
ContrastStandard                : 0
SharpnessStandard               : 3
SaturationStandard              : 0
ColorToneStandard               : 0
ContrastPortrait                : 0
SharpnessPortrait               : 2
SaturationPortrait              : 0
ColorTonePortrait               : 0
ContrastLandscape               : 0
SharpnessLandscape              : 4
SaturationLandscape             : 0
ColorToneLandscape              : 0
ContrastNeutral                 : 0
SharpnessNeutral                : 0
SaturationNeutral               : 0
ColorToneNeutral                : 0
ContrastFaithful                : 0
SharpnessFaithful               : 0
SaturationFaithful              : 0
ColorToneFaithful               : 0
ContrastMonochrome              : 0
SharpnessMonochrome             : 3
FilterEffectMonochrome          : None
ToningEffectMonochrome          : None
ContrastAuto                    : 0
SharpnessAuto                   : 3
SaturationAuto                  : 0
ColorToneAuto                   : 0
FilterEffectAuto                : n/a
ToningEffectAuto                : n/a
ContrastUserDef1                : 0
SharpnessUserDef1               : 3
SaturationUserDef1              : 0
ColorToneUserDef1               : 0
FilterEffectUserDef1            : None
ToningEffectUserDef1            : None
ContrastUserDef2                : 0
SharpnessUserDef2               : 3
SaturationUserDef2              : 0
ColorToneUserDef2               : 0
FilterEffectUserDef2            : None
ToningEffectUserDef2            : None
ContrastUserDef3                : 0
SharpnessUserDef3               : 3
SaturationUserDef3              : 0
ColorToneUserDef3               : 0
FilterEffectUserDef3            : None
ToningEffectUserDef3            : None
UserDef1PictureStyle            : Auto
UserDef2PictureStyle            : Auto
UserDef3PictureStyle            : Auto
CanonModelID                    : EOS 70D
ThumbnailImageValidArea         : 0 159 7 112
AFAreaMode                      : Flexizone Single
NumAFPoints                     : 31
ValidAFPoints                   : 1
CanonImageWidth                 : 5472
CanonImageHeight                : 3648
AFImageWidth                    : 5472
AFImageHeight                   : 3648
AFAreaWidths                    : 552 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
AFAreaHeights                   : 736 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
AFAreaXPositions                : 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
AFAreaYPositions                : 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
AFPointsInFocus                 : 0
AFPointsSelected                : 0
TimeZone                        : +00:00
TimeZoneCity                    : London
DaylightSavings                 : Off
BracketMode                     : Off
BracketValue                    : 0
BracketShotNumber               : 0
RawJpgSize                      : Large
WBBracketMode                   : Off
WBBracketValueAB                : 0
WBBracketValueGM                : 0
LiveViewShooting                : On
FocusDistanceUpper              : 1.63 m
FocusDistanceLower              : 1.45 m
FlashExposureLock               : Off
LensModel                       : EF-S17-55mm f/2.8 IS USM
InternalSerialNumber            : FA1848004
DustRemovalData                 : (Binary data 1024 bytes, use -b option to extract)
CropLeftMargin                  : 0
CropRightMargin                 : 0
CropTopMargin                   : 0
CropBottomMargin                : 0
ExposureLevelIncrements         : 1/3 Stop
ISOSpeedIncrements              : 1 Stop
AEBAutoCancel                   : On
AEBSequence                     : 0,-,+
AEBShotCount                    : 3 shots
SafetyShift                     : Disable
AIServoTrackingSensitivity      : Standard
AccelerationTracking            : 0
AIServoFirstImagePriority       : Equal priority
AIServoSecondImagePriority      : Equal priority
AFAssistBeam                    : Emits
LensDriveNoAF                   : Focus search on
SelectAFAreaSelectMode          : Disable; Flags 0x7
AFAreaSelectMethod              : AF area selection button
OrientationLinkedAFPoint        : Same for vertical and horizontal
ManualAFPointSelectPattern      : Stops at AF area edges
AFPointDisplayDuringFocus       : On
SuperimposedDisplay             : Off
AFMicroadjustment               : Adjust all by same amount; 0; 4; 7; 2; 10; 0; 0; 0; 0; 0; 0; 0; 0; 0; 0
DialDirectionTvAv               : Normal
MultiFunctionLock               : Off; Quick control dial
ViewfinderWarnings              : Monochrome, WB corrected
CustomControls                  : 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
AspectRatio                     : 3:2
CroppedImageWidth               : 5472
CroppedImageHeight              : 3648
CroppedImageLeft                : 0
CroppedImageTop                 : 0
ToneCurve                       : Standard
Sharpness                       : 3
SharpnessFrequency              : n/a
SensorRedLevel                  : 0
SensorBlueLevel                 : 0
WhiteBalanceRed                 : 0
WhiteBalanceBlue                : 0
ColorTemperature                : 5200
PictureStyle                    : Auto
DigitalGain                     : 0
WBShiftAB                       : 0
WBShiftGM                       : 0
MeasuredRGGB                    : 449 1024 1024 735
ColorSpace                      : sRGB
VRDOffset                       : 0
SensorWidth                     : 5568
SensorHeight                    : 3708
SensorLeftBorder                : 84
SensorTopBorder                 : 50
SensorRightBorder               : 5555
SensorBottomBorder              : 3697
BlackMaskLeftBorder             : 0
BlackMaskTopBorder              : 0
BlackMaskRightBorder            : 0
BlackMaskBottomBorder           : 0
ColorDataVersion                : 10 (1DX/5DmkIII/6D/70D/100D/650D/700D/M)
WB_RGGBLevelsAsShot             : 2180 1024 1024 1646
ColorTempAsShot                 : 5600
WB_RGGBLevelsAuto               : 2180 1024 1024 1646
ColorTempAuto                   : 5600
WB_RGGBLevelsMeasured           : 2180 1024 1024 1646
ColorTempMeasured               : 5600
WB_RGGBLevelsDaylight           : 2123 1024 1024 1733
ColorTempDaylight               : 5200
WB_RGGBLevelsShade              : 2485 1024 1024 1494
ColorTempShade                  : 7000
WB_RGGBLevelsCloudy             : 2294 1024 1024 1606
ColorTempCloudy                 : 6000
WB_RGGBLevelsTungsten           : 1485 1024 1024 2515
ColorTempTungsten               : 3200
WB_RGGBLevelsFluorescent        : 1824 1024 1024 2383
ColorTempFluorescent            : 3733
WB_RGGBLevelsKelvin             : 2123 1024 1024 1733
ColorTempKelvin                 : 5200
WB_RGGBLevelsFlash              : 2356 1024 1024 1603
ColorTempFlash                  : 6185
AverageBlackLevel               : 2049 2049 2049 2049
RawMeasuredRGGB                 : 371333 863562 865350 598106
PerChannelBlackLevel            : 2049 2049 2049 2049
NormalWhiteLevel                : 14580
SpecularWhiteLevel              : 15092
LinearityUpperMargin            : 10000
CustomPictureStyleFileName      :
AFMicroAdjMode                  : Disable
AFMicroAdjValue                 : 0
VignettingCorrVersion           : 0
PeripheralLighting              : On
ChromaticAberrationCorr         : On
PeripheralLightingValue         : 66
OriginalImageWidth              : 5472
OriginalImageHeight             : 3648
PeripheralLightingSetting       : On
ChromaticAberrationSetting      : On
PeripheralIlluminationCorr      : Off
AutoLightingOptimizer           : Off
HighlightTonePriority           : Off
LongExposureNoiseReduction      : Off
HighISONoiseReduction           : Standard
LensSerialNumber                : 000003f54b
AmbienceSelection               : Standard
MultiExposure                   : Off
MultiExposureControl            : Additive
MultiExposureShots              : 0
GrainyBWFilter                  : Off
SoftFocusFilter                 : Off
ToyCameraFilter                 : Off
MiniatureFilter                 : Off
MiniatureFilterOrientation      : Horizontal
MiniatureFilterPosition         : 0
MiniatureFilterParameter        : 0
FisheyeFilter                   : Off
PaintingFilter                  : Off
WatercolorFilter                : Off
HDR                             : Off
HDREffect                       : Natural
CalibrationIlluminant1          : Standard Light A
CalibrationIlluminant2          : D65
RawDataUniqueID                 : 86EFA44EB616EFA79AED39C100000000
OriginalRawFileName             : IMG_3923.CR2
CameraCalibrationSig            : com.adobe
ProfileCalibrationSig           : com.adobe
ProfileName                     : Adobe Standard
ProfileHueSatMapDims            : 90 30 1
ProfileHueSatMapData1           : (Binary data 137575 bytes, use -b option to extract)
ProfileHueSatMapData2           : (Binary data 138379 bytes, use -b option to extract)
ProfileEmbedPolicy              : Allow Copying
ProfileCopyright                : Copyright 2012 Adobe Systems, Inc.
ForwardMatrix1                  : 0.7763 0.0065 0.1815 0.2364 0.8351 -0.0715 -0.0059 -0.4228 1.2538
ForwardMatrix2                  : 0.7464 0.1044 0.1135 0.2648 0.9173 -0.182 0.0113 -0.2154 1.0292
PreviewApplicationName          : Adobe DNG Converter
PreviewApplicationVersion       : 9.2
PreviewSettingsDigest           : 0bdfc91724df61e7a1410aecd643c850
PreviewColorSpace               : 2
PreviewDateTime                 : 2018:04:11 19:19:48+02:00
ProfileLookTableDims            : 36 8 16
ProfileLookTableData            : (Binary data 89143 bytes, use -b option to extract)
NoiseProfile                    : 7.76470588235294e-005 3.89674928757033e-007
NewRawImageDigest               : 4f351b7729d00e95a28dd7c047c052f6
Aperture                        : 4.5
CFAPattern                      : [Red,Green][Green,Blue]
DriveMode                       : Continuous Shooting
FileNumber                      : 100-3923
ImageSize                       : 5568x3708
Lens                            : 17.0 - 55.0 mm
LensID                          : Canon EF-S 17-55mm f/2.8 IS USM
Megapixels                      : 20.6
PreviewImage                    : (Binary data 53907 bytes, use -b option to extract)
ScaleFactor35efl                : 1.6
ShootingMode                    : Manual
ShutterSpeed                    : 1/50
SubSecCreateDate                : 2018:04:02 14:18:05.30
SubSecDateTimeOriginal          : 2018:04:02 14:18:05.30
WB_RGGBLevels                   : 2180 1024 1024 1646
BlueBalance                     : 1.607422
CircleOfConfusion               : 0.019 mm
DOF                             : 1.69 m (1.07 - 2.76 m)
FOV                             : 66.6 deg
FocalLength35efl                : 17.0 mm (35 mm equivalent: 27.4 mm)
HyperfocalDistance              : 3.45 m
Lens35efl                       : 17.0 - 55.0 mm (35 mm equivalent: 27.4 - 88.7 mm)
LightValue                      : 9.0
RedBalance                      : 2.128906


It does actually alter some properties, but e.g. UniqueCameraModel stay the same. Both files look identical in ACR 9 and 10.


@theBilalFakhouri

Your build magiclantern-crop_rec_4k.2018Apr11.700D115_Iso_Less_8_15_resolved.zip with altered DualISO works for my camera well! First time! My 700D is also "Made in Taiwan", distribution for Germany from 2016. Thank you a lot! Now the question is, how to identify both camera versions, to be able to implement conditionally both adresses in the official build...

BTW, before trying your code blindly, I wanted to check if the registers' addresses match your. I started with enabling ADTG to find out, it doesn't load, requires a special branch, which according to the docu found, is only for 5D... A scavenger hunt. Uhhh, the barieer to jump into debugging and development seems to be huge. Your amazing knowledge is distributed among the forum topics, like here: over 100 pages for DualISO "only", with partially dead links and images. I believe weeks are needed to go through it to be up to date and manage to just configure the workflow...

[dfort]

Now the question is, how to identify both camera versions, to be able to implement conditionally both adresses in the official build...

Yes, that is a very good question.

...enabling ADTG to find out, it doesn't load, requires a special branch, which according to the docu found, is only for 5D... A scavenger hunt. Uhhh, the barieer to jump into debugging and development seems to be huge...

Not that huge. First make sure you're using a crop_rec_4k experimental build, download the adtg_gui module from the modules download page, put it in the ML/MODULES directory on your card, activate the module and it should work.

If you want something more powerful, set up a development environment and compile the iso-research branch for your camera. It isn't hard at all to set up a development system. I made tutorials for both Macintosh and Windows/Cygwin. Danne recently released a compiler tool for Mac that makes it super easy to get set up and compile ML.

[ArcziPL]

Good docu, thanks for sharing & linking! I would however start with debugger/emulator environment first and run my own dumps. Compiling ML is second in a row.

[Danne]

12bit MLV file  used(13mb) cut in Mlv app:
https://bitbucket.org/Dannephoto/magic-lantern/downloads/M18-1354.MLV

Hi. Since recording rates are getting better with lossless but also with using the sd_uhs it seems even more interesting to get dual iso movie recording working also with at least 12bit files. While 14bit really looks awesome filming with 3xzoom mode 12bits are still problematic(check stripes after conversion):


Checking dual iso code sources and it´s really some of the most impressive stuff I´ve seen. I don´t know where to start even looking for tweaks in there so I thought I´d post an example MLV if maybe Alex or somenone else wants to have a look.

[reddeercity]

Seem to be a problem in the High ISO (Clipping --Pink Hi-lights) Run the file though MLVProducer
There you can just pick hi ISO , low ISO , Balanced etc. .... when I adjusted just the Low ISO (100) seem fine



Thou it took some adjusting to clean it up , ended up using "curves" plus some other grading option
2047-5586 , are the reported while & black levels in mlvproducer -- shouldn't the black level be 2048 ?
I couldn't clean up the hi-ISO & together with the low ISO it's not possible clean up

[50mm1200s]

With fullres blending "off" and AMaZE preview the MLVApp gives me this:



You probably already know, but the stripes seems to be miss-aligned. There's ~6 horizontal stripes that are not in the correct colors (alternate between yellow and blue, probably one channel of YUV chrominance is off).

[a1ex]

filming with [...] 12bits are still problematic

Answered here.

[Danne]

Thanks again a1ex.

[bouncyball]

@Danne

Now, latest MLV App supports your restricted to 12bit lossless dual iso MLV test clip posted above

Without any additional processing applied:




regards
bb

[Danne]

Shit, you're kidding me. That was fast. Will it work with even lower bits too?
By the way. Could this be fixed in mlv_dump or cr2hdr as well B?

[bouncyball]

It should wok for less bits, please try and report. Not sure about cr2hdr ( it's a1ex's exclusive territory ), mlv_dump on steroids (or merged) does not have dual iso processing implemented at all.

Here is the sample with small corrections:




Edit: dual iso preview mode is broken and shows pinks a lot. Not important I guess.

[Danne]

Crazy good. Mlv app exports dual iso on the fly. Great addition. Will do some testing later.

I never use preview function...

[Levas]

Haven't used dual iso for almost 2 years, but I wanted to give it a try now with crop mode video (1:1) on the 6d.
But I get an error:

ISOless PH err(3)

So it obviously doesn't work anymore on the 6d, I have no idea for how long.
I'm using the "crop_rec_4k.2018Mar10.6D116.zip" build from the experiments download page.

[theBilalFakhouri]

@Levas
On 700D I had this issue and it was resolved.

Also I got once time ISOless PH err(3) :

When I adjusted the photo register I wrote it wrong by mistake, I got ISOless err(3), it was after correcting the video register and only dual_iso was working in video mode.

When ISOless PH err(3) appeared in 700D it was the photo mode not working but in video mode was working very well unlike you on 6D .

Did you try Nightly Builds ? same error?
Is photo mode working ? and the normal uncropped mv1080 mode ?

And it's look like only the Taiwanese models for 700D affected by dual_iso errors:

...my camera was made in Taiwan...

Your build magiclantern-crop_rec_4k.2018Apr11.700D115_Iso_Less_8_15_resolved.zip with altered DualISO works for my camera well! First time! My 700D is also "Made in Taiwan"...

@dfort's 700D camera was made in Japan which works correctly without these errors.

Can other 6D users confirm that?