Форум фотографов.
https://forum.znyata.com/

DXOmark новый сайт по РАВ тестам матриц


https://forum.znyata.com/viewtopic.php?f=3&t=7020
Страница 1 из 2

Doroga [ 17 ноя, 08 16:16 ]
DXOmark новый сайт по РАВ тестам матриц

Новость c картинками-примерами
http://www.imaging-resource.com/NEWS/1226923202.html

Цитата:
The real story of image quality starts with the sensor. Until now, we've had only a limited ability to analyze image quality at the RAW level. A new, free information resource from DxO Labs promises to change all that starting today.


Сам сайт: http://www.dxomark.com/ - не дружит с Хромом, судя по всему.

Alex Skill [ 17 ноя, 08 16:29 ]

[обновлено 2008.12.11]

Добавилась информация о двух камерах Canon EOS 5D Mark II и Pentax K200D.

Таким образом топ матриц камер на сегодняшний день выглядит следующим образом:

DxO писал(а):
  1. 80.6 - Nikon D3
  2. 80.5 - Nikon D700
  3. 80.3 - Canon EOS 1Ds Mark III
  4. 79.0 - Canon EOS 5D Mark II
  5. 78.9 - Sony Alpha 900
  6. 74.0 - Canon EOS 1Ds Mark II
  7. 72.6 - Nikon D90
  8. 71.0 - Canon EOS 1D Mark III
  9. 70.9 - Canon EOS 5D
  10. 68.7 - Samsung GX 20
  11. 66.9 - Pentax K10D
  12. 66.6 - Nikon D300
  13. 66.2 - Canon EOS 1D Mark II N
  14. 66.1 - Canon EOS 1D Mark II
  15. 66.0 - Pentax K200D
  16. 65.4 - Pentax K20D
  17. 65.4 - Sony Alpha 350
  18. 65.3 - Fujifilm FinePix S5 Pro
  19. 64.5 - Nikon D60
  20. 64.2 - Nikon D200
  21. 63.9 - Nikon D40X
  22. 63.5 - Canon EOS 40D
  23. 62.9 - Canon EOS 50D
  24. 62.5 - Canon EOS 1Ds
  25. 62.2 - Canon EOS 20D
  26. 62.1 - Canon EOS 400D
  27. 61.6 - Canon EOS 1000D
  28. 61.1 - Nikon D80
  29. 60.9 - Sony Alpha 100
  30. 60.6 - Canon EOS 450D
  31. 60.2 - Fujifilm FinePix S3 Pro
  32. 60.0 - Konica Minolta DYNAX 5D
  33. 59.9 - Canon EOS 350D
  34. 59.5 - Canon EOS 30D
  35. 59.4 - Leica M8
  36. 59.2 - Nikon D2Xs
  37. 58.7 - Nikon D2X
  38. 58.0 - Konica Minolta DYNAX 7D
  39. 56.6 - Canon EOS 10D
  40. 56.3 - Olympus E3
  41. 56.2 - Nikon D40
  42. 55.3 - Canon EOS 300D
  43. 55.3 - Olympus E520
  44. 55.3 - Panasonic Lumix DMC L10
  45. 55.2 - Nikon D50
  46. 50.2 - Nikon D70s
  47. 50.2 - Nikon D70
  48. 40.3 - Nikon D2H
  49. 39.1 - Panasonic Lumix DMC LX3
  50. 37.8 - Canon Powershot G10
  51. 35.3 - Nikon Coolpix P6000
  52. 34.7 - Canon Powershot G9
  53. 26.8 - Panasonic DMC FZ28


________________________________________

[сообщение 2008.11.17]

Нормально сайт работает! Я не стал торопиться с этой новостью, хотел разобраться что к чему для начала, а Doroga опередил. ;)

Очень хорошую идею реализовали в компании DxO Labs!

Теперь можно получить хоть какие-то реальные численные характеристики цифровых матриц применяемых в современных цифровых зеркалках.

Вот для примера, так выглядит сводная таблица для трёх камер Canon 30D, 40D, 50D.
Получается, что по общему рейтингу матрица в 50D уступает матрице в 40D! :)

Там ещё много разных графиков, так что для любителей покопаться в нюансах этот новый ресурс будет очень полезен!

Alex Skill [ 17 ноя, 08 16:40 ]

Смотрю дальше сравнение 30D, 40D, 50D.
По данным DxO получается, что наиболее чувствительная матрица стоит у 30D! :shock:

Изображение

Вложения:

canon_30_40_50_snr.gif [ 14 Кб | Просмотров: 13648 ]

Doroga [ 17 ноя, 08 17:58 ]

Алекс - ты смотришь режим Screen(для фотоонанистов)
Там еще есть режим Print, где все несколько иначе

заодно статейки:

http://www.dxomark.com/index.php/eng/In ... sets-noise!
http://www.dxomark.com/index.php/eng/In ... -over-time

Alex Skill [ 17 ноя, 08 18:10 ]

Doroga писал(а):
Алекс - ты смотришь режим Screen(для фотоонанистов)


Какой по умолчанию показывают, такой и смотрю. :shock:

:lol:

Daniel Anochin [ 17 ноя, 08 18:30 ]

Ура!!! Фотоонанизм!

Alex Skill [ 17 ноя, 08 19:13 ]

"Всё потеряло смысл, бьюсь головой об пол. Сегодня Майкл Джексон на пенсию ушёл..." (с) С.Шнуров :lol:

Да, господа, теперь, увы, уже больше не может быть повода для того, чтобы спорить в каком фотоаппарате матрица "круче". Пропала загадка, пропала интрига, скажем за это спасибо инженерам из DxO! :D

Итак, на данный момент top 51 матриц по убыванию рейтинга качества матрицы следующий (нужно учесть, что пока в этом списке нет Canon 5D mkII):

DxO писал(а):
  1. 80.6 - Nikon D3
  2. 80.5 - Nikon D700
  3. 80.3 - Canon EOS 1Ds Mark III
  4. 78.9 - Sony Alpha 900
  5. 74.0 - Canon EOS 1Ds Mark II
  6. 72.6 - Nikon D90
  7. 71.0 - Canon EOS 1D Mark III
  8. 70.9 - Canon EOS 5D
  9. 68.7 - Samsung GX 20
  10. 66.9 - Pentax K10D
  11. 66.6 - Nikon D300
  12. 66.2 - Canon EOS 1D Mark II N
  13. 66.1 - Canon EOS 1D Mark II
  14. 65.4 - Pentax K20D
  15. 65.4 - Sony Alpha 350
  16. 65.3 - Fujifilm FinePix S5 Pro
  17. 64.5 - Nikon D60
  18. 64.2 - Nikon D200
  19. 63.9 - Nikon D40X
  20. 63.5 - Canon EOS 40D
  21. 62.9 - Canon EOS 50D
  22. 62.5 - Canon EOS 1Ds
  23. 62.2 - Canon EOS 20D
  24. 62.1 - Canon EOS 400D
  25. 61.6 - Canon EOS 1000D
  26. 61.1 - Nikon D80
  27. 60.9 - Sony Alpha 100
  28. 60.6 - Canon EOS 450D
  29. 60.2 - Fujifilm FinePix S3 Pro
  30. 60.0 - Konica Minolta DYNAX 5D
  31. 59.9 - Canon EOS 350D
  32. 59.5 - Canon EOS 30D
  33. 59.4 - Leica M8
  34. 59.2 - Nikon D2Xs
  35. 58.7 - Nikon D2X
  36. 58.0 - Konica Minolta DYNAX 7D
  37. 56.6 - Canon EOS 10D
  38. 56.3 - Olympus E3
  39. 56.2 - Nikon D40
  40. 55.3 - Canon EOS 300D
  41. 55.3 - Olympus E520
  42. 55.3 - Panasonic Lumix DMC L10
  43. 55.2 - Nikon D50
  44. 50.2 - Nikon D70s
  45. 50.2 - Nikon D70
  46. 40.3 - Nikon D2H
  47. 39.1 - Panasonic Lumix DMC LX3
  48. 37.8 - Canon Powershot G10
  49. 35.3 - Nikon Coolpix P6000
  50. 34.7 - Canon Powershot G9
  51. 26.8 - Panasonic DMC FZ28


Doroga [ 17 ноя, 08 19:22 ]

От него реально можно ослепнуть :)

Алекс например не заметил, что на его же скриншотах у 50D самый высокий рейтинг Low-Light ISO.

Хотя, скорее всего, Алекс просто поспешил с выводами ;)

Можно, кстати оценить прогресс различных параметров во времени.
Есть параметры, не доступные для сравнения, их можно смотреть лишь для каждой камеры в отдельности.

В целом сайт весьма полезен для общего развития и новых познаний в области digital imaging.

Alex Skill [ 17 ноя, 08 19:36 ]

Doroga писал(а):
От него реально можно ослепнуть :)


От кого?

Doroga писал(а):
Алекс например не заметил, что на его же скриншотах у 50D самый высокий рейтинг Low-Light ISO.

Хотя, скорее всего, Алекс просто поспешил с выводами ;)


На первом скриншоте, который я привёл, действительно, показатель Low-Light ISO самый большой у 50D. (нужно ещё точно понять, что они имели в виду под этим показателем).

Но на других графиках, например, который на следующем скриншоте, показано изменение соотношения сигнал/шум в зависимости от установленного на камере режима ISO. Видно, что график у 30D идёт выше всех, т.е. у него матрица лучше по этому параметру.

Плюс ко всему по этим графикам видно, что камеры 40D и 50D больше всего врут, когда пользователь думает, что он снимает на выбранной чувствительности ISO.
Например, установив на камере чувствительность ISO 800, матрица реально будет работать с чувствительностью где-то около 700 единиц.

Putrach [ 17 ноя, 08 20:19 ]

DxO писал(а):
64.5 - Nikon D60
64.2 - Nikon D200
...
62.1 - Canon EOS 400D
60.6 - Canon EOS 450D
...
59.9 - Canon EOS 350D
59.5 - Canon EOS 30D


есть забавные моменты :)

Doroga [ 17 ноя, 08 20:33 ]

Слепнут от фотоонанизма.
Никогда не слышали миф, что от онанизма можно ослепнуть?
Например в фильме "Малена"?

В режиме Принт они делают нормализацию по разрешению к 8-ми мегапикселям. И, очевидно, на основании нормализованной оценки раздают баллы.

По поводу вранья ИСО там же на сайте:
This difference stems from design choices, in particular the choice to keep some “headroom” to avoid saturation in the higher exposures to make it possible to recover from blown highlights.

Не все так просто.

Кроме того, есть сомнения в методологии измерений некоторых параметров.

Но в целом для просвещения масс и приближения светлого будущего скорее шаг вперед чем назад.

Хотя многие, наверное, будут недовольны отсуствием сравнений попиксельной резкости.

Deniz [ 17 ноя, 08 20:49 ]

Интересные результаты.. Кэнон 1000й превосходит 450й, никон Д60 - их оба, никон Д700 - вообще всех, причем значительно..

Daniel Anochin [ 17 ноя, 08 20:51 ]

Думаю еще многие будут недовольны отсутствие сравнения с плёнкой )

Мымр [ 18 ноя, 08 11:55 ]

Doroga писал(а):
Кроме того, есть сомнения в методологии измерений некоторых параметров.

Вы, конечно, извините, но эта фраза напомнила времена моей комсомольской молодости.

Можно подробнее? У кого именно есть сомнения? И в чем именно эти сомнения заключаются?

Конечно, каждый такой тест отражает только одну из сторон истины. В остальном, проведя несколько часов перед экраном за анализом методики и, несмотря на первоначальное предубеждение пришел к выводу, что все совершенно честно.

Другое дело, что можно сравнить по другому набору параметров, тогда и результаты будут чуть другими. Например, выбросить оттуда все связанное с шумами на высоких ISO и лидер, скорее всего, изменится.

Doroga писал(а):
Хотя многие, наверное, будут недовольны отсуствием сравнений попиксельной резкости.

Вы можете предложить методику объективного сравнения по этому параметру? Увы, не знаю и я такой методики.

Появится такая методика - голосую обеими руками "за".

Doroga [ 18 ноя, 08 12:19 ]

Сомнения:
1) количество образцов техники и количество экспериментов-измерений. Есть подозрения что 1-1. Если так то маловато.
2) использование стандартного 24-х цветового колорчекера, когда существует вполне вероятная возможность, что цветовые фильтры некоторых матриц оптимизмрованы именно под эти цвета, в ущерб прочим цветам.
3) влияние рав конвертации одного конвертера на шум для разных матриц различно, каким-то матрицам это идет в +, каким-то в -, судя по всему для измерения шума используются сконвертированные данные.
UPDATE - 4) Не рассматриваются промежуточные значения ИСО, в некоторых камерах они намного шумнее основных и это важно знать.

По поводу попиксельной резкости - скорее шутка, но в целом неплохо бы еще какие-нить измерения завязанные на измерения разрешения системы, для оценки эффекта(сила и симметричность по вертикали-горизонтали) Anti-Aliasing фильтра и обнаружение шумоподавления в РАВ данных, если такое имеется.

Мымр [ 19 ноя, 08 7:48 ]

Doroga писал(а):
Сомнения:
1) количество образцов техники и количество экспериментов-измерений. Есть подозрения что 1-1. Если так то маловато.
2) использование стандартного 24-х цветового колорчекера, когда существует вполне вероятная возможность, что цветовые фильтры некоторых матриц оптимизмрованы именно под эти цвета, в ущерб прочим цветам.
3) влияние рав конвертации одного конвертера на шум для разных матриц различно, каким-то матрицам это идет в +, каким-то в -, судя по всему для измерения шума используются сконвертированные данные.
UPDATE - 4) Не рассматриваются промежуточные значения ИСО, в некоторых камерах они намного шумнее основных и это важно знать.

По поводу попиксельной резкости - скорее шутка, но в целом неплохо бы еще какие-нить измерения завязанные на измерения разрешения системы, для оценки эффекта(сила и симметричность по вертикали-горизонтали) Anti-Aliasing фильтра и обнаружение шумоподавления в РАВ данных, если такое имеется.

Это конкретно и по существу. Спасибо.

1) На счет количества измерений.
Они используют софт (на сайте софта есть и подробное описание методик):
http://www.dxo.com/intl/image_quality/home
и несколько мишеней. Методика измерений построена таким образом, что различные измерения в некоторой степени дублируют друг друга, что помогает выявлению неправильных серий в случае ошибок.

Насколько мне известно, одной серией измерения никогда не обходятся. Сначала делают прикидочные draft серии, потом итоговую.

Софт очень хороший. У его один недостаток - методики очень сложные и даже для того, чтобы просто понять результаты, приходится потрудиться.

Хотя на сайте и не написано, сколько экземпляров камер тестировалось, по поводу количества камер я особо не волнуюсь. Разброс характеристик сенсоров не так велик, как, например, разброс качества различных экземпляров объективов.

Кроме того, сайт претендует на известность. Если камера даст неправильные результаты, думаю, что компания изготовитель напишет протест и пришлет другой экземпляр. По крайней мере с тестированием объективов мы такое видели неоднократно.

2) Ну и слава богу ! Этого вполне достаточно.
Изображение
Это - вся область цветов, которые воспринимает человеческое зрение. Камера передает цвета, находящиеся внутри треугольника, с вершинами в трех точках - описываемых байеровскими R G B (точки эти свои для каждого сенсора).

Точки колорчекера находятся внутри этого треугольника. И не важно, сколько там точек, 24 и 240 - результат будет примерно одинаковым.

Если бы мы тестировали по точкам, вне треугольника и вблизи границы цветового графика (границы человеческого зрения), то получили бы для разных камер очень разные результаты, так как камера, основанная только на трех цветах, в принципе не способна передать абсолютно все цвета (вписанный в область на графике треугольник меньше всей области).

Нас же интересует точность передачи цветов для точек, далеких от границ. С этим стандартный 24-цветовой чарт очень хорошо справляется.

4) Такое могло бы быть из-за шумодава. Но шумодавы отключены и данные анализируются в RAW.

Естественно, любая методика анализа оказывает влияние на рейтинг. В данном случае, например, какая-нибудь камера может давать относительно сильные шумы в RAW, но при этом шумы могут иметь высокочастотную (мелкозернистую) структуру, хорошо поддающеюся шумодаву. Но в данном тесте это не анализировалось.

Резюмирую сказанное. Данным тестов http://www.dxomark.com/ вполне можно доверять. Естественно, они тестируют только те параметры камер, о которых пишут, а реальность несколько богаче. Но это можно сказать абсолютно про любой тест.

Цитата:
но в целом неплохо бы еще какие-нить измерения завязанные на измерения разрешения системы, для оценки эффекта(сила и симметричность по вертикали-горизонтали) Anti-Aliasing фильтра и обнаружение шумоподавления в РАВ данных, если такое имеется.

Шумоподавление в RAW обнаруживают путем анализа пространственного фурье спектра RAW данных - высокие частоты в случае применения шумодава оказываются подавленными. Зеркалки кэнона таким недостатком, по крайней мере начиная с 20D, не страдают. Из последних камер шумодав до RAW имела A700 и, при некоторых установках, А900. Пишут, что теперь этот недостаток исправлен.

Почему это плохо? Потому как очень желательно шумодав применять всего один раз. Многие фотографы отключают его в камере и применяют потом, более качественный, в фотошопе.

По поводу оценки силы Anti-Aliasing фильтра - сколь нибудь удовлетворительной методики, дающей численный результат увы, не встречал.

_ruslan [ 19 ноя, 08 12:59 ]

кто нить может объяснить различия в тестах для
samsung gx20 и pentax k20d? матрицы вроде одни и те же

Doroga [ 19 ноя, 08 17:33 ]

1) Про разброс характеристик сенсоров (цветовые фильтры, шум) данных не встречал.
Может большой, может маленький.
Оснований игнорировать этот параметр нет.

2) Камера, дающая лучшие результаты на колорчекере может проигрывать в реальной жизни. Запросто.

Цитата:
что цветовые фильтры некоторых матриц оптимизмрованы именно под эти цвета, в ущерб прочим цветам.


Не обязательно насыщенных цветов, просто цветов с оттенком (hue) отличным от коолорчекеровских.

Человек, крутой в фехтовании не обязательно победит в пятиборьи.

4) Это реально есть. Так реализовано усиление.

http://theory.uchicago.edu/~ejm/pix/20d ... ead_vs_iso

Мымр [ 20 ноя, 08 7:29 ]

Doroga писал(а):
1) Про разброс характеристик сенсоров (цветовые фильтры, шум) данных не встречал.
Может большой, может маленький.
Оснований игнорировать этот параметр нет.

2) Камера, дающая лучшие результаты на колорчекере может проигрывать в реальной жизни. Запросто.

Цитата:
что цветовые фильтры некоторых матриц оптимизмрованы именно под эти цвета, в ущерб прочим цветам.


Не обязательно насыщенных цветов, просто цветов с оттенком (hue) отличным от коолорчекеровских.

Человек, крутой в фехтовании не обязательно победит в пятиборьи.

4) Это реально есть. Так реализовано усиление.

http://theory.uchicago.edu/~ejm/pix/20d ... ead_vs_iso

Doroga вы пишите то, что вам кажется должно было бы быть, исходя из вашего здравого смысла. Увы, это не всегда верно. Ну, например, это:
Цитата:
Не обязательно насыщенных цветов, просто цветов с оттенком (hue) отличным от коолорчекеровских.

Ну очень неграмотно. Вы пишите так, как будто все колочекеровские цвета имеют одинаковый hue. Да забудьте про этот параметр! Это просто число (одно из трех), которые характеризуют цвет, и ничего магического в нем нет. И тестирование этот параметр, точно так же как и остальные, учитывает.

Очень просто объявить какие-то результаты недобросовестными просто потому, что они не нравятся. Дескать специально колорчарт под камеру подогнали или наоборот.

Используем вашу аналогию. Скажем есть робот, который крутой в фехтовании, скажем на саблях. Степень его "крутизны" не сильно зависит от того, проводим мы измерения этой "крутизны" в 9, 10, 11, 12... часов или в 9-30, 10-30, 11-30, 12-30...по тем же дням.

Цитата:
4) Это реально есть. Так реализовано усиление
http://theory.uchicago.edu/~ejm/pix/20d ... ead_vs_iso

Забавно, что статью цитируют люди, которые ее при этом совершенно не понимают.

Сразу скажу, что ничего в этом обидного нет. Для понимания статьи нужен уровень кандидата наук по специальности, близкой к профильной, и понять ее полностью в родной Беларуси, могут человек 30-40 из которых подавляющее большинство фотографией не занимаются.

Ошибка ваша в том, что
1) вы дали ссылочку на шумы чтения (read_vs_iso), тогда как в данном измерении, если почитать внимательно методику DxO, более критична величина именно фотонных шумов, зависимость которых от ISO совершенно предсказуема.
2) даже шумы чтения, на которые вы обратили внимание, растут плавно и монотонно с ростом ISO, а не прыгают туда-сюда, как вы пытаетесь это представить

Резюмирую сказанное выше. Если внимательно и подробно изучить все относящиеся к делу материалы и немножко подумать, то ошибок в чужих измерениях гораздо меньше, чем кажется на первый взгляд. Разумеется, это касается измерений, выполненных авторитетными изданиями, а не человеком, впервые взявшим в руки цифровую камеру.

В любом случае, IMHO не стоит учить весьма квалифицированных людей проводить тесты, расказывая, как бы вы провели тест, если бы умели, и что бы при этом учли.

Alex Skill [ 11 дек, 08 11:07 ]

Добавилась информация о двух камерах Canon EOS 5D Mark II и Pentax K200D.

Смотрите обновлённый топ матриц во втором сообщении темы.


DXOmark новый сайт по РАВ тестам матриц