Показаны сообщения с ярлыком сферический конь в вакууме. Показать все сообщения
Показаны сообщения с ярлыком сферический конь в вакууме. Показать все сообщения
Оценка работы тестировщиков
понедельник, июня 11, 2012
Какой бы ни был сейчас год; сколько ни прошло времени со времен публикации голубой книги Канера, Фолка и Нгуена; сколько бы не говорили про тестирование в различных гибких и не совсем методологиях - главная задача тестировщика и менеджера тестировщиков:
Четкая и прозрачная фиксация ожиданий от группы тестирования.
До тех пор, пока нет как-либо прописанных ожиданий и четкой уверенности в том, что действительно ожидается от команды тестировщиков - начинать любые работы - бесполезно!
Чтобы вы не сделали, умелые тестировщики, это все равно не будет иметь должного эффекта. ;)
Сколько раз в умных книгах писали - главное договориться на берегу. Но, как ни крути, учиться на своих ошибках как-то ближе к телу.
А что до названия поста, то оценка работы тестировщиков в итоге сводится к одному - сделано ли то, что ожидалось :) В этом выражении можно слово "тестировщиков" заменить на программистов, аналитиков... Но есть одно НО: программисты производят в конечном итоге "код", аналитики - постановки, а вот результат работы тестировщиков - "нематериален".
Текст сообщения и комментарии...
Тестирование оптимизации...
среда, сентября 21, 2011В процессе тестирования поставок клиентам часть задач (около 10%) связана с оптимизацией кода на SQL.
Понятно, что проверить во первых стоит проверить, не поломалась ли функциональность приложения и только затем перейти ко второй фазе - непосредственная проверка оптимизации.
И, естественно, здесь зачастую и встречаются "проблемы" с тестированием, главная из которых кроется в необходимости обеспечения соответствующих условий воспроизведения ситуации - я здесь в свою очередь и множество подводных камней, даже куч из этих камней...
Куча первая - проблемы БД:

----------------
Понятно, что проверить во первых стоит проверить, не поломалась ли функциональность приложения и только затем перейти ко второй фазе - непосредственная проверка оптимизации.
И, естественно, здесь зачастую и встречаются "проблемы" с тестированием, главная из которых кроется в необходимости обеспечения соответствующих условий воспроизведения ситуации - я здесь в свою очередь и множество подводных камней, даже куч из этих камней...
Куча первая - проблемы БД:
- фоновые процедуры (служебные job'ы и процедуры приложения, выполняемые в фоновом режиме)
- "служебные" активности БД: пересчет индексов, высвобождение temp'овых таблиц, оптимизация хранения данных на жестком диске
Куча вторая - проблемы данных и процессов приложения:

- сколько данных нужно для повторения процесса и фиксации времени улучшения?
- сколько параллельных бизнес-процессов должно выполняться, чтобы повторить ситуацию?
- как обеспечить повторность проверки?
- добавим сюда и толщину каналов связи в случае тонкого (вернее средней упитанности) клиента?
Мелкие камешки в повторении состава "железа" и скорости работы исполнителя разбросаем вокруг.
Часть проблем, безусловно решается разными дополняющими и исключающими друг друга методами.. но возникает резонный вопрос:
Зачем все танцы с бубном, которые займут ещё и кучу времени, если мы изобретаем велосипед для нагрузочного тестирования?
Рассуждая так, прихожу к выводу, что толковое тестирование оптимизированных процессов* провести не получится, без организации нагрузочного тестирования с соответствующим исследованием и постановкой отдельного процесса.
Но тогда возникает резонный вопрос у заказчика - а был ли мальчик? А исправили ли медленную работу ПО?
Я пытаюсь решать такие вопросы обсуждая проблему с заказчиком, планируя нагрузочное тестирование отдельно, иногда - проверяя процесс на "разумные" цифры выполнения. Что не гарантируют полную удовлетворенность клиента, но оставляет всех без розовых очков "надежды и веры в тестирование оптимизации"
----------------
*Рассматриваем ситуации оптимизации процедур и функций в рамках произведения комплексных процессов: закрытия операционного дня банка; пересчет PnL и PV позиций; обработки 1000К сообщений для отправки и т.д. (код, а не бизнес-логика этапов процесса)
P.S.: все хотел куда-нибудь серых человечков добавить :)
Текст сообщения и комментарии...
Тестирование GUI или сферический конь в вакууме
среда, октября 07, 2009Тестирование GUI (graphical user interface) очень редко проходит отдельно от основного функционального тестирования. Конечно:
- бывают большие проекты, где этому уделяется внимание;
- бывают пропущены серьезные проблемы, после которых все тестировщики проекта некоторое (зачастую недолгое) время тестируют ГУЙ / ГУИ / УЙ / УИ / UI / GUI
Вот скажите мне, разве можно тестировать то, принципы чего сам до конца не понимаешь? Разве можно найти ошибки в калькуляторе, если не знаешь таблицы умножения?
Многие менеджеры считают, что можно! И тогда все тестировщики становятся не только ГУИтестерами, они сразу ещё и ГУИтворители (ведь программисты исправят ровно так, как это скажет тестировщик).
Такая ситуация очень похожа на историю возникновения самих тестировщиков: программисты (или их начальники) поняли, что писать код и выпускать ПО без ошибок не одно и то же!
Я понимаю, должно пройти время, когда всем станет более-менее понятно: функциональное тестирование и тестирование графического интерфейса пользователя - должны делать разные по своей профессиональной подготовке люди!
Ладно, от теории перейдем к практике.
Предположим, что у нас есть окошко, где нужно выбрать период выпуска на прогулку сферического коня из вакуума. У нас есть два поля для ввода даты: Date From и Date To и кнока Submit.
Кроме дизайно-цветового решения всё выглядит даже ничего: можем задать даты и нажать кнопку Сабмит.
Умный тестировщик проверит эти поля на ввод разных значений: прошлый век, наше время, будущее время, (возможно) проверит ситуацию From >To и т.д. А вот когда этим начнет пользоваться конюх сферического коня в вакууме и реально захочет настроить даты выгула этого животного, он встретит реальные проблемы.
Одна из них - как мне настроить выгул коня только на один день? Поставить Date From = 10/07/2009 и Date To = 10/07/2009? Такое правило зачастую не сработает, ведь мудрые девелоперы сохраняют в базу данных ещё и время, а для обоих дат это будет 00:00:00. Можно поставить Date From = 10/07/2009 и Date To = 11/07/2009, но откуда мне как пользователю знать, что мой конь не будет гулять два дня, вместо одного?
Только методом проб и ошибок, запросов на изменение и приперательств с поставщиком ПО.
А вот если бы тестировщик посмотрел заранее в книгу про ГУИ тестирование, на минуту представил себя конюхом в штанах с кожей на жопе коленях, подумал о ежедневном выгуле любимого коня - все могло бы быть совсем иначе.
Не буду продолжать сей короткий опус, но скажу лишь одно - я сам попался на такое - мне не понравилось, и теперь буду представлять себя ковбоем/конюхом/или другим пользователем тестрируемого софта.
Текст сообщения и комментарии...







