Статистика в протеомике

Обновлено 29.07.2008 Автор: Administrator

Мои достаточно сумбурные мысли на тему применения статистических методов при обработке протеомных данных.

ПРИМЕНЕНИЕ СТАТИСТИКИ В ПРОТЕОМИКЕ

Обзор методов для анализа экспериментальных данных

Пятницкий М.А.

ГУ НИИ биомедицинской химии им. В.Н. Ореховича РАМН

119121, Москва, Погодинская ул. д.10,

e-mail: mpyat@bioinformatics.ru

Протеомные эксперименты требуют тщательной продуманной статистической обработки результатов. Существует несколько важных черт, характеризующих протеомные данные:

• имеется большое количество переменных
• сложные взаимосвязи между этими переменными. Подразумевается, что эти взаимосвязи отражают биологические факты
• число переменных много больше числа образцов. Это очень затрудняет работу многих статистических методов

Впрочем, подобные признаки присущи и многим другим данным, полученных с помощью high-throughput технологий.

Типичными задачами протеомного эксперимента являются:

• сравнение профилей экспрессии белков между разными группами (например, рак/норма). Обычно задачей является построение решающего правила, позволяющего отделить одну группу от другой. Также представляют интерес переменные, обладающие наибольшей дискриминаторной способностью (биомаркеры).
• изучение взаимосвязей между белками.

Здесь я сосредоточусь в основном на применении статистики для анализа масс-спектров. Однако многое из сказанного относится и к другим типам экспериментальных данных. Здесь почти не рассматриваются сами методы (за исключением более подробного описания ROC-кривых), а скорее очень кратко обрисован арсенал методов для анализа данных и даются наметки к осмысленному его применению.

Разведочный анализ

Важнейшим шагом при работе с любым массивом данных является разведочный анализ, exploratory data analysis (EDA). На мой взгляд, это едва ли не самый главный момент при статистической обработке данных. Именно на этом этапе нужно получить представление о данных, понять какие методы лучше применять и, что более важно, каких результатов можно ожидать. В противном случае, это будет игра “вслепую” (а давайте попробуем такой-то метод), бессмысленный перебор арсенала статистики, data dredging. Статистика тем и опасна, что всегда выдаст какой-либо результат. Сейчас, когда запуск сложнейшего вычислительного метода требует всего пары щелчков мышью, это особенно актуально.

Согласно Tukey, целями разведочного анализа являются:

• maximise insight into a data set;
• uncover underlying structure;
• extract important variables;
• detect outliers and anomalies;
• test underlying assumptions;
• develop parsimonious models; and
• determine optimal factor settings.

На этом этапе разумно получить как можно больше информации о данных, используя в первую очередь графические средства. Постройте гистограммы для каждой переменной. Как это не банально, взгляните на описательную статистику. Полезно посмотреть на графики рассеяния (при этом рисуя точки различными символами, индицирующими принадлежность к классам). Интересно посмотреть на результаты PCA (principal component analysis) и MDS(multidimensional scaling). Итак, EDA – это в первую очередь широкое применение графической визуализации.

Перспективно применение методов projection pursuit для поиска наиболее “интересной” проекции данных. Обычно, возможна некоторая степень автоматизации этой работы (GGobi). Произволом является выбор индекса для поиска интересных проекций.

Нормировка

Обычно, данные не являются нормально распределенными, что не удобно для статистических процедур. Часто встречается лог-нормальное распределение. Простым логарифмированием можно сделать распределение куда более приятным. Вообще не стоит недооценивать такие простые методы как логарифмирование и другие преобразования данных. На практике не раз встречаются случаи, когда после логарифмирования начинают получаться осмысленные результаты, хотя до предобработки результаты были малосодержательными (здесь пример про масс-спектрометрию вин).

Вообще, выбор нормировки – это отдельная задача, которой посвящены многие работы. Выбор метода предобработки и шкалирования может существенным образом повлиять на результаты анализа (Berg et al, 2006). На мой взгляд, лучше всегда по умолчанию проводить простейшую нормировку (например , если распределение симметрично или логарифмирование в другом случае), чем вообще не пользоваться этими методами.

Приведем несколько примеров графической визуализации и применения простых методов статистики для разведочного анализа данных.

Примеры

Ниже приведены примеры графиков, которые, возможно, имеет смысл строить для каждой переменной. Слева показаны оценки плотности распределения для каждого из двух классов (красный - рак, синий – контроль). Обратите внимание, что под графиками представлены и сами значения, по которым строится оценка плотности. Справа приведена ROC-кривая, и показана площадь под ней. Тем самым сразу можно видеть потенциал каждой переменной как дискриминаторной между классами. Ведь именно дискриминация между классами обычно является конечной целью статистического анализа протеомных данных.

На следующем рисунке показана иллюстрация нормировки: типичное распределение интенсивности пика на масс-спектре (слева) при логарифмировании дает распределение близкое к нормальному (справа).

Далее покажем применение heatmap для разведочного анализа данных. По столбцам – пациенты, по строкам - гены. Цвет показывает численное значение. Видно четкое разделение на несколько групп. Это отличный пример применения EDA, который сразу дает наглядную картину о данных.

На следующей картине показан пример gel-view графика. Это стандартный прием для визуализации большого набора спектров. Каждая строка – образец, каждый столбец – пик. Цветом закодирована интенсивность значения (чем ярче тем лучше). Такие картинки можно получить, например, в ClinProTools. Но там имеется большой недостаток – строки(образцы) идут в том порядке, в котором они были загружены. Гораздо правильнее переставлять строки(образцы) таким образом, что близкие образцы располагаются рядом и на графике. Фактически это heatmap без сортировки столбцов и дендрограмм по бокам.

На следующей картинке приведен пример применения многомерного шкалирования. Кружки – контроль, треугольники – рак. Видно, что рак имеет существенно большую дисперсию и построение решающего правила вполне возможно. Такой любопытный результат достигается всего для двух первых координат! Глядя на такую картинку, можно преисполнится оптимизмом относительно результатов дальнейшей обработки данных.

Проблема пропущенных значений

Следующей проблемой, с которой сталкивается исследователь, является проблема пропущенных значений. Опять-таки, этой теме посвящено множество книг, в каждой из которых описаны десятки способов решения этой задачи. Пропущенные значения часто встречаются в данных, которые получают путем high-throughput экспериментов. Многие же статистические методы требуют полных данных.

Приведу основные способы решения проблемы пропущенных значений:

• убрать строки/столбцы с пропущенными значениями. Оправдано, если пропущенных значений относительно немного, иначе придется убирать все

• генерировать новые данные взамен пропущенных (заменять на среднее, получать из оцененного распределения)

• использовать методы нечувствительные к пропущенным данным

• поставить эксперимент еще раз!

Не рекомендуется вставлять нули на месте пропущенных значений.

Проблема выбросов

Выброс – это образец с резко отличающимися показателями от основной группы. Опять, эта теме глубоко и обширно разработана в соответствующей литературе.

В чем опасность наличия выбросов? В первую очередь, это может существенным образом повлиять на работу неробастных (не устойчивых к выбросам) статистических процедур. Наличие даже одного выброса в данных может существенно изменить оценки среднего и дисперсии.

Выбросы трудно заметны в многомерных данных, поскольку могут проявляться только в значениях одной-двух переменных (напомню, что в типичном случае протеомный эксперимент описывается сотнями переменных). Здесь и пригодится анализ каждой переменной в отдельности – при просмотре описательных статистик или гистограмм (вроде тех, которые были приведены выше) такой выброс легко обнаружить.

Возможны две стратегии для поиска выбросов:

1) вручную – анализ графиков рассеяния, PCA,и другие методы разведочного анализа. Попробуйте построить дендрограмму – на ней выброс будет виден в виде отдельной ветки, которая рано отходит от корня.

2) 2) разработано множество критериев для обнаружения (Yang, Mardia, Schjwager,…)

Средства борьбы с выбросами

• удаление выбросов

• применять устойчивые к выбросам(робастные) статистические методы

При этом нужно держать в голове, что возможно выброс – это не ошибка эксперимента, а некий существенно новый биологический факт. Хотя такое, конечно, случается крайне редко, но все же…

На следующем рисунке показаны возможные типы выбросов по типу их влияния на статистики.

Проиллюстрируем, как влияют выбросы на поведение коэффициентов корреляции.

Нас интересует случай (f) . Видно, как наличие всего 3 выбросов дает значение коэффициента корреляции Пирсона равным 0.68, в то время как коэффициенты Спирмена и Кендалла дают гораздо более разумные оценки (корреляции нет). Правильно, коэффициент корреляции Пирсона – неробастная статистика.

Покажем применение метода PCA для визуального обнаружения выбросов.

Конечно, всегда полагаться на такие “кустарные” методы обнаружения не стоит. Лучше обратиться к литературе.

Классификация и снижение размерности

Обычно, основной целью анализа протеомных данных является построение решающего правила для отделения одной группы образцов от другой (например, рак/норма). После проведения разведочного анализа и нормировки обычно следующим шагом является уменьшение размерности пространства признаков (dimensionality reduction).

Отбор переменных

Большое число переменных (а это стандартная ситуация в протеомных экспериментах):

• усложняет анализ данных

• обычно не все переменные имеют биологическую интерпретацию

• часто целью работы является отбор “интересных” переменных (биомаркеры)

• ухудшает работу алгоритмов классификации. Из-за этого – переобучение (overfitting).

• Поэтому стандартным шагом является применение dimensionality reduction перед классификацией

Методы dimensionality reduction можно разделить на 2 типа:

1) Filter

•

Задачами этой группы методов является либо удаление уже существующих “малоинтересных” переменных, либо создание новых переменных как линейных комбинаций старых. Сюда относятся

PCA, MDS,

методы теории информации и т.д.

Другой идеей является направленный отбор “интересных переменных”: например, бимодальные переменные всегда интересны для просмотра (в идеале каждый пик соответствует своему классу для бинарной классификации). Впрочем, это можно отнести к разведочному анализу.

Еще одним подходом является исключение сильно скоррелированных между собой переменных. При таком подходе переменные группируются используя коэффициенты корреляции в качестве меры расстояния. Можно использовать не только корреляцию Пирсона, но и другие коэффициенты. Из каждого кластера скорреллированных переменных оставляется только одна (например, по критерию наибольшей площади под ROC-кривой).

На рисунке приведен пример визуализации такого кластерного анализа пиков с помощью heatmap. Матрица симметрична, цвет показывает значения коэффициента корреляции Пирсона (синий – высокие значения корреляции, красный – низкие значения). Четко выделяется несколько кластеров сильно зависимых между собой переменных.

2) Wrapper

Здесь используются алгоритмы классификации в качестве меры качества набора отобранных переменных. Оптимальным решением является полный перебор всех сочетаний переменных, поскольку при сложных взаимосвязях между переменными

вполне возможны ситуации, когда две переменные по отдельности не являющиеся дискриминаторными при добавлении третьей становятся таковыми. Очевидно, что полный перебор вычислительно не возможен при сколько-нибудь значительном числе переменных.

Попыткой преодолеть это “проклятие размерности” является применение генетических алгоритмов для поиска оптимального набора переменных. Другой стратегией является включение/исключение переменных по одной с одновременным контролем значения Akaike Information Criteria или Bayes Information Criteria.

Для этой группы методов обязательно применение кросс-валидации. Подробнее об этом написано в разделе о сравнении классификаторов.

Классификация

Задача – построить решающее правило, которое позволит относить вновь обработанный образец в тот или иной класс.

Обучение без учителя – кластерный анализ. Это поиск наилучших (в некотором смысле) группировок объектов. К сожалению, обычно нужно задавать число кластеров a priori, либо выбирать порог отсечения (для иерархической кластеризации). Это всегда вносит неприятный произвол.

Обучение с учителем: нейронные сети, SVM, decision trees, …

Требуется большая выборка с заранее отклассифицированными объектами.

Обычно работает лучше, чем обучение без учителя. Кросс-валидация – при отсутствии тестовой выборки. Возникает проблема переобучения (overfitting)

Важным и простым тестом, который редко проводят, является запуск обученного классификатора на случайных данных. Сгенерируйте матрицу с размером равным размеру исходной выборки, заполните случайным шумом или нормальным распределением, проведите все методики, включая нормализацию, отбор переменных и обучение. В случае, если получаются разумные результаты (т.е. вы научились распознавать случайный шум) – будет меньше оснований верить и в построенный классификатор.

Есть и более простой способ – просто измените случайным образом метки классов для каждого объекта, не трогая при этом остальные переменные. Тем самым опять получится бессмысленный набор данных, на котором стоит прогнать классификатор.

Мне кажется, что доверять построенному классификатору можно лишь в том случае, если был выполнен хотя бы один из приведенных тестов на распознавание случайных данных.

ROC – кривая

Receiver-Operating Characteristic curve

• Используется для представления результатов классификации на 2 класса при условии, что известен ответ, т.е. известно правильное разбиение.

• Предполагается, что у классификатора имеется параметр(точка отсечения), варьируя который получается то или иное разбиение на два класса.

При этом определяется доля ложно положительных (FP) и ложноотрицательных результатов (FN). Рассчитывается чувствительность и специфичность, строиться график в координатах (1-специфичность, чувствительность). При варьировании параметра классификатора получаются различные значения FP и FN, и точка перемещается по ROC-кривой.

• Точность = (TP+TN) / (TP+FP+FN+TN)

• Чувствительность = TP / TP+FN

• Специфичность = TN / TN+FP

Что является “положительным” событием – зависит от условий задачи. Если прогнозируется вероятность наличия заболевания, то положительный исход – класс “больной пациент”, отрицательный исход – класс “здоровый пациент”

Самое наглядное объяснение (с отличными java-апплетами иллюстрирующими суть идеи ROC) я видел на http://www.anaesthetist.com/mnm/stats/roc/Findex.htm

ROC-curve:

• Удобно использовать для анализа сравнительной эффективности двух классификаторов.

• Чем ближе кривая к левому верхнему углу, тем выше предсказательная способность модели.

• Диагональная линия соответствует “бесполезному классификатору”, т.е. полной неразличимости классов

• Визуальное сравнение не всегда позволяет точно оценить какой классификатор предпочтительнее.

• AUC – Area Under Curve - численная оценка, позволяющая сравнивать кривые ROC.

• Значения от 0 до 1.

Сравнение двух ROC-кривых

Площадь под кривой (AUC) как мера для сравнения классификаторов.

Другие примеры ROC-кривых приведены в разделе посвященном разведочному анализу.

Сравнительный анализ классификаторов

Существует множество вариантов в применении методов распознавания образов. Важной задачей является сравнение между собой различных подходов и выбор наилучшего.

Наиболее распространенный сегодня способ сравнения классификаторов в статьях по протеомике (и не только) – это кросс-валидация. На мой взгляд, смысла в однократном применении процедуры кросс-валидации немного. Более разумный подход состоит в запуске кросс-валидации несколько раз (в идеале чем больше – тем лучше) и построении доверительных интервалов для оценки точности классификации. Наличие доверительных интервалов позволяет обоснованно решать является ли, например, улучшение качества классификации на 0.5% статистически значимым или нет. К сожалению, только в малом числе работ встречаются доверительные интервалы для точности, чувствительности и специфичности. Цифры же приводимые в других работах по этой причине трудно сравнивать между собой, поскольку не указан размах возможных значений.

Другим вопросом является выбор типа кросс-валидации. Мне больше нравится 10-fold или 5-fold кросс-валидация вместо leave-one-out.

Конечно, использование кросс-валидации это “акт отчаяния”. В идеале, выборка должна быть разбита на 3 части: на первой части строится модель, на второй части оптимизируются параметры этой модели, на третьей части производится проверка. Кросс-валидация – это попытка избежать этих построений, и оправдана лишь при малом числе образцов.

Из многочисленных запусков процедуры кросс-валидации можно почерпнуть и другую полезную информацию. Например, интересно посмотреть на каких объектах процедура распознавания ошибается чаще. Возможно, это ошибки в данных, выбросы или другие интересные случаи. Изучив на характерные свойства этих объектов иногда можно понять, в каком направлении стоит улучшать вашу процедуру классификации.

Ниже приведена таблица сравнения классификаторов для работы Moshkovskii et al, 2007. В качестве классификаторов использовались SVM и логистическая регрессия (LR). Методами отбора признаков являлись RFE (Reсursive Feature Elimination) и Top Scoring Pairs (TSP). Использование доверительных интервалов позволяет обоснованно судить о значимых преимуществах различных схем классификаций.

Литература

Здесь приведены некоторые книги и статьи, которые могут оказаться полезными при анализе протеомных данных.

C. Bishop, Neural Networks for Pattern Recognition

* Berrar, Dubitzky, Granzow. Practical approach to microarray data analysis (Kluwer, 2003). Книга посвящена обработке microarray (хотя я бы не стал рекомендовать ее для знакомства с предметом), но есть и пара интересных глав. Иллюстрация с влиянием выбросов на коэффициенты корреляции взята оттуда.

PS.

Литература, обозначенная знаками * есть в электронном виде, и автор делится ею безДвозДмездно (т.е. даром)