Тред посвящен одной из самых гибких и требовательных в IT специальностей - обеспечение качества. Достоинством сферы является низкий порог вхождения, многогранность возможных путей развития - как в руководящие должности(тимлидство, пм-ство), так и в значительное расширение количества и улучшение качества(инжи, безопасники) навыков.
>>347566 Если говорить об автоматизации тестирования веб-приложений, то JavaScript первым делом. Не важно, на каком языке ты будешь автоматизировать, автоматизация будет работать с браузером, а значит нужно иметь представление о том, что там внутри происходит. Разумеется, не просто "голый" язык, а то, как он используется с DOM-ами, событиями, ajax-ами всякими, вот этим всем. Релейтед темы по верстке, css. Представление о протоколе http, базовые вещи, связанные с xml, особенно xpath. Все это нужно для того, чтобы понимать, от чего что-то работает, а что-то нет. Инструменты автоматизации несовершенны, если придется заниматься со сколько-нибудь сложной задачей, то обязательно придется наступить на те или иные грабли. Не обязательно знать все тонкости, важнее уметь увидеть всю картину целиком, понять причины проблемы, найти решение. И еще, Селениум позволяет во время сессии инжектить и выполнять свои скриптики. Часто такая необходимость возникает как раз в "заковыристых" местах, и делать это приходится чаще, чем хотелось бы. "Основной" язык может быть каким-угодно. Клиенты, дергающие протокол вебдрайвера, выглядят везде примерно одинаково. Наверное, можно выбрать что-то общераспространенное и популярное, либо основной язык разработки для того проекта, над которым предстоит работать. Если говорить чисто о повышении шансов, то опять же выходит нужно что-то популярное. Какие-то особые глубины и тонкости языка вряд ли понадобятся, так что можно изучить несколько пусть и поверхностно. Важнее сделать упор на знакомстве с инструментами разработки и тестирования, с популярными тестовыми фреймворками. Чтобы не просто знать, как написать тест, но и как интегрировать его в общий процесс разработки и тестирования.
>>347590 > Page object же! А при чем тут джава? PageObject - это просто клас в котором собраны все локаторы/элементы + методы по работе с ними. Здесь достаточно знать ООП. А вкатиться легче, начиная с Python'a, а потом уже перекатиться на Джаву, если будет необходимость. Это зависит уже от проекта, с которым работаешь.
Я немного знаком с C#/ООП/SOLID. Как мне быстро научиться юзать Selenium? Хочу быть способным откликаться на вакансии с требованием вроде "Навык работы со средствами автоматизации тестирования (Selenium)." Если это важно, сейчас работаю в компании где селениум не используется вообще.
Пригласили на собеседывание для вкатывания в тестеры. Сказали, собеседывание будет по результатам тестов/хуестов, который буду писать аж 4 часа. Что нужно учить чтобы пройти повысить шансы? требованияк соискателю - пикрелейтед
Хотел кинуть вакансию, но они исчезли с хедхантера. Еще месяц назад висели. Одна была со связного и другая похожая не помню фирмы. Там предлагали 6 месячную "стажировку" с зп 15к и офисом в 20 минутах езды на собаках от м.Медведково. Вакансии кодерские. Вот тут, кстати, полно неоплачиваемых стажировок: http://geekbrains.ru/probations
Уж не знаю настоящие они или наебка, но чтобы попробоваться на эту стажировку, то есть тупо отправить резюме, нужно пройти 1-4 курса на сайте. За денежку, разумеется.
А в чём, собстенно, рабство? Уж не охуел ли ты, шкальнек, от своей воображаемой важности? Тебе предлагают бесплатно с тобой возиться 3-6 месяцев, и чему-то учить, а ты ещё и недоволен, лол? Неужели ты реально думал, что они за свой счёт станут тебя обучать, чтобы ты потом поололокал и съебал где больше на 50$ заплатят? Или ты всерьёз думаюешь, что там тебя посадят тестить реальные приложения и наживаться на твоих блестящих способностей? Я могу тебя уверить - от мысли что какой-то хер без знаний с улицы влезет в отлаженный рабочий процесс и будет бесконечным генератором проблем и проёбов у любого их начальника отдела глаз задёргается.
>>350074 > Тебе предлагают бесплатно с тобой возиться 3-6 месяцев, и чему-то учить, а ты ещё и недоволен, лол? Ну хуй, знает, мне как устроился за 3-6 месяцев учёбы платили 35-40к.
Есть нормальные компании где стажировки оплачивают. Хотя бы 20к, но оплачивают. Порог входа для стажеров достаточно высок (см. 4 часа тестов и собеседование), так что особо возиться с ним не надо. Задать направление - нагуглит и разберется. Понимал бы твой подрыв если бы можно было прочитать полкнижки, написать калькулятор и идти устраиваться стажером, но такого не наблюдается. Ну и по моим наблюдениям, если фирма предлагает такие рабские условия "бесплатная стажировка 3-6 месяцев", то скорее всего там жадные мудаки, которые экономят на всем, в первую очередь на специалистах и работают там скорее всего кодеры, которые не смогли найти хорошее место по причине низкого скила или хикковатости и, следовательно, научить они могут мало чему, следовательно, эти 6 месяцев пройдут впустую.
>>348720 Начать автоматизировать что-то в твоей компании при помощи селениума. Всё гениальное просто. >>347622 Ява с гораздо больше вероятностью понадобится, чем питон, не только в селениуме. Первой бы я, напротив, стал смотреть яву. >>349447 Бесплатная стажировка - это дно, хотя это вопрос уже к тебе, устраивает это или нет. Я пришел в свою текущую компанию на испыталку в 3 месяца за среднюю зп по моей мухосрани, стажировка это конечно немного другое, но хотя бы 10к могли бы накинуть, в днищегородах.
>>354348 > Первой бы я, напротив, стал смотреть яву. Ну тупые американцы, что с Джавы переходят на Пайтон, как на первый язык программирования, которому обучают в университетах.
>>355015 >Поясните за работу тестером? Какие подводные камни? Какие плюсы и минусы? Легко попасть в IT. На хорошие проекты нужны хорошие аналитические скилы и хорошая логика. Нужно много общаться с людьми (разработчики, аналитики, заказчиики). Хорошие деньги крутятся на зарубежных проектах, а там нужен еще хороший английский. Это так, на вскидку.
>>355182 Пришел на собес, разные общие вопросы по тестированию(виды тестирования, методологии разработки по и т.д.)затем тестовое задание, затем еще один собес
>>355068 >Я просто джуном устроился и ощущаю, что я полное дно Почему? Я когда джуном устроился, то пару месяцев тестировал по чек-листам разные проекты, которые уже тестили до меня. После этого мой куратор проверял ошибки, рассказывал, почему так и как можно было поступить лучше и показывал уже готовый чек-лист (с правильными ответами, если тебе так угодно). Писал тест-кейсы, тестировал на реальных проектах какой-то простой функционал. Учился, в общем. Не знаю, почему ты себя дном считаешь? Учись, студент, чтобы быть лучше, чем остальные. Не теряй время, пока оно есть.
>>355222 Ты же джун, учишься. Старайся сделать больше, нарабатывай скорость, думай, как можно было сделать лучше, проявляй инициативу, но умей её обосновать и объяснить почему ты так считаешь. Или пиздуй ныть куда-то в другое место.
>>354973 Пиздец проиграл, "Автоматизатор на питоне", "Автоматизатор на яве", это что за помойки такие, где ищут по признаку используемого языка? Маньки не знают, как интегрировать тесты на каком-то, отличном от их проекта, языке, в свои говнобилд-шаровар сервера? И не знать как минимум 3-4 языка, вроде шарпа, явы, луа, питона для среднего автоматизатора в любом случае дно. "Автоматизатор на питоне", блядь, сделал мой вечер.
Серьёзно, твой аргумент - инвалид, первостепенен навык написания фреймворка и пониманиее ООП, уж на чём писать - дело стодесятое, ещё жду список утилит для автоматизации РАЗРАБОТАННЫХ(а не просто поддерживающих) под питон.
>>355519 >уж на чём писать - дело стодесятое Мамкин фрилансер закукарекал? Всё зависит от проекта и от поставленных задач. Не уверен, что, если кастомер желает, чтобы у него был стэк автотестов на определенном языке, то ты ему будешь говорить про то, что тебе похуй и ты будешь писать ему на том, на чем тебе удобнее. Бывает такое, что попадаешь на проект, где уже есть стэк автотестов, написанных, зачастую, на пайтоне или джаве, и тебе в этом говне рыться. Бывает такое, что у кастомера софтина написана на сишарпе или джаве или пайтоне и кастомер хочет, чтобы девы контролили твои автотесты или давали тебе писать юнит-тесты при том, что они сами пишут на c#\Java. Будешь ли ты им кукарекать про то, что тебе похуй и ты будешь делать то, что тебе хочется? Сомневаюсь. Так что придержи свои маня-фантазии, диванный тестер.
>>355716 А читаем мы жопой. Одно дело - адаптироваться под окружение и если питон нужен - использовать его, другое >КУДАХ ПИТОН ЛУЧШЕ ВСЕГО СВИТАЯ США НИ МОЖИТ АШИБАЦЦА!
Использовать питон там, где он жопой прикручен к утилитам изначально писанным например под яву, если заказчику похуй, на чём они будут - верх уебанства. Не нужно пытаться переврать мной сказанное.
>>355708 >Ни одного аргумента Я ТАК СКОЗАЛ ПЕТОН ЛУДШЕЙ!!!111
Сап воркач. Учусь на 4 курсе, решил устроиться работать. На HH увидел должность джуниор тестера онлайн игр, от всяких мэйлов и т.д. в приличной конторе, в главном it-бизнесцентре в городе. Накатал на коленке резюме ибо очень хотелось туда попасть быстрее, забыв при этом залить фото и стопку сертификатов, написав просто про то, что задрачиваю 8 лет в wow, а играю вообще с двух лет (в первый дум, лол). Прислали анкету, заполнил шутя, но при этом очень подробно и развернуто. Особенно порадовали вопросы типа "Чем DD отличается от Танка?". Перезвонили, говорят - приезжай. Волнуюсь само собой, первая осознанная работа.
В знаниях своих уверен, задрачивал всю жизнь, до последней недели жизни не думал, что это вообще может как-либо пригодиться. Может кто-нибудь пояснить в чем подводные камни, где я проебался? Может есть кто-то, кто уже работал тестером пускай не игровых проектов, а просто различного ПО?
>>355933 >Может есть кто-то, кто уже работал тестером пускай не игровых проектов, а просто различного ПО? *fix Скопировал из другого треда. Тут этот вопрос явно лишний.
>>355933 >>355934 Хотя почитал еще чуть более внимательно тред, часть вопросов уже отпала. Задам тогда последний, пожалуй, самый волнующий. До какого уровня заработной платы можно подняться в области тестов, к примеру, если сравнивать с девелоперами? Не та ли это область, как быдлоадминство - где ты получаешь свою 20тку / 30тку и выше головы уже не выпрыгнешь? Это я про мухосрански-миллионники конечно же Стоит ли потом пытаться перекатиться в девелоперы?
>>355940 У тестеров игр зп наименьшая среди всех тестировщиков и в смежных сферах тестирования их опыт особо не котируется. > Стоит ли потом пытаться перекатиться в девелоперы? Лишним не будет если у тебя душа к этому лежит.
>>355962 Спасибо. Буду иметь ввиду. Душа то лежит, но как то "страшно" лезть в именно в программирование, ибо чувствую что знаний пока еще недостаточно. Для джуна то оно достаточно, но все равно. Страшно, что многих технологий я не знаю, некоторые знаю поверхностно, а так же если вдруг это все придется наверстывать в очень краткий срок стажировки да и еще можно тупняка схватить. Это все, приехали. Сложно себя перебороть в этом плане.
А вот играть в игры я умею, это да. И довольно глубоко вижу вглубь механики и возможных ее эксплойтов. Думаю, таких на двоще процентов 80 точно. Да и в какую бы меня область тестирования игровых задач и в какой бы жанр меня не сунули, я везде имею овер9к опыта, правда мое слабое место это игры типа OSU меня не пугает ничего. Я уверен что справлюсь при минимальных усилиях. Да еще и няшиться с другими тестерами-задротами тоже куда позитивнее выглядит.
В общем, программирование я бросать не собираюсь, но думаю, что тестером мне ближе будет. Да и какой-нибудь "зам.начальника отдела тестирования" получает не меньше средненького сеньор девелопера.
Спасибо тебе большое за инфу! Скинул бы няшек, да трукрипт похерил мне все паки на днях.
>>355966 Если хочешь программировать - иди джуниором\стажером программистом, а не еби людям мозги, сначала всирая их время на твоё обучение тестировщика(хотя для говноигр обучение будет минимально в этой сфере), а потом ололокая соскакивая на другую специальность. Тестировщик это НЕ ступень до программиста. Никто не идёт сначала сантехником, чтобы затем работать сварщиком труб большого диаметра.
>>355980 >Если хочешь программировать - иди джуниором\стажером программистом Ты забыл про людей, которые звутся автоматизаторами, где совмещают приятное с полезным.
>>355980 Не, я не буду ебать им мозги, честно. Я уважаю их труд тоже. Сфера тестера мне ближе в разы, а жить привык я очень скромно. Просто все-таки не хотелось бы проводить для себя планку зарплаты (даже пускай и потенциальной) в 30-40 тысяч и все. Можно просто постараться стать профи в этой области. Так что я спрашивал о ситуации в целом и "туда ли я вообще пошел?". А программирование, пускай, останется для меня хобби/сопособом фриланса, благо теперь знакомых в институте полно, а тупых студентов с каждым годом все больше и больше. Спасибо!
>>355982 Я ничего не забывал, программирование, это программирование, автоматизация - это тестирование. >>355983 "Профи в этой области" это не программист. Программирования для автоматизации тестирования тебе за глаза хватит и без хобби. В приличных местах разница в навыках между кодером и нормальным автоматизатором минимально. А вот разница во взгляде на вещи - огромна.
>>355994 >"Профи в этой области" это не программист. Немного не понял, что ты имеешь ввиду. То что профи тестер = нормальный кодер != програмист? Потому как программист на уровень выше Или то, что зарплаты нормального программиста сложно достичь в тестировании? Не понял немного формулировку.
>А вот разница во взгляде на вещи - огромна. А можешь пожалуйста привести какой-нибудь пример этих "разных взглядов на одни вещи" для меня? Просто как то плохо представляется сейчас.
>>355966 >Да еще и няшиться с другими тестерами-задротами тоже куда позитивнее выглядит. Бывает такое, что это задроты-двочеры с завышенным эго, которые хуй на тебя ложили, как и ты на них. С такими команды не построишь.
>Да и какой-нибудь "зам.начальника отдела тестирования" получает не меньше средненького сеньор девелопера. Да, ты прав. Есть несколько путей развития. Один из них - менеджмент, но тут надо иметь хватку и многому учиться, но попробовать всегда стоит. Лучше попробовать, чем не попробовать.
>>355983 > Просто все-таки не хотелось бы проводить для себя планку зарплаты (даже пускай и потенциальной) в 30-40 тысяч и все. Можно просто постараться стать профи в этой области. Можно стать профи, но не в играх. Постарайся попасть в какой-то бодишоп, где есть возможность перевестись на другую программу (web, mobile, etc) или конкретно к продуктовикам, которые занимаются играми, так как аутсорс тестирование бета-версий мобильных игр - самое днище и з\п тут маленькие. Не забывай про автоматизацию тестирования, ведь ты можешь совмещать веб-тестирование с твоим хобби программирования и в будушем прийти и сказать заказчику: чувак, я тут тебе автотестов нахуячил, они мне упрощают работу, могу внедрить это в продакшен.
>>355980 > Тестировщик это НЕ ступень до программиста Верно, но эта тестирование позволяет увидеть процесс разработки изнутри, получить себе связей, ПОЛЕЗНЫЙ смежный опыт и годных советов с тестерами игр не работает такая шняга, возможность переката внутри компании (помимо кодера спокойно можно в аналитику уйти, но это от места работы зависит). В перекате из тестеров в кодеры нет ничего плохого и QA очень даже может помочь как старт в IT.
>>356104 Вот этот >>356234 хорошо пишет. Главное - начать, а там само пойдет, но мой тебе совет, не иди в тестирование бета-версий мобильных дрочилень. Это хуйня. Ищи конторы, которые занимаются вебом, хотя бы.
>>356477 ММО хоть не на мобильных устройствах или в браузерах? Если какие-то АЛЛОДЫ или что-то в этом роде, то заебись. Днище днищ - мобильные игры для домохозяек и браузерные флешки.
>>356478 >>356477 Ну хуй знает всё равно какой ему ценный опыт даст тестирование игр. Это в любом случае лучше чем тыканье во всякие андроид-дрочильни, но всё равно довольно сомнительно.
>>356480 > какой ему ценный опыт даст тестирование игр Как минимум - опыт в работе с багтреккерами, какой-никакой опыт в тестировании (хотя, с устройствами было бы лучше, так как сейчас ценится, если ты держал в руках айфон и знаешь оссобенности тестирования на Android\iOS устройствах, гайдлайны и прочую хуйню). Также, возможно, он будет работать с чеклистами или даже их составлять, писать тест-кейсы, например. Это всё тоже опыт.
>>356486 Алсо, я сам тестировал мобильные игры для домохозяек и мобильные приложения типа фитнес-трекеров год. Сейчас работаю с веб-приложением со своей бизнес-логикой на зарубежных заказчиков. Игры мне не помешали найти работу в другом русле тестирования. Помимо тестирования игр, я еще задрачивал всякие статьи, книги и прочую хуйню, пользовался тем, что у меня был доступ к куче девайсов, в свободное время изучал гайдлайны, оссобенности тестирования на платформах, писал сам себе чек-листы, по которым в будущем тестировал пилотные или небольшие проекты. Так что это дело такое, временное, и зависит уже от того, умеешь ли ты использовать предоставленные тебе возможности в личных целях.
>>356494 Грубо говоря - я нарабатывал себе пункты для резюме. Пришел на собес и рассказал чем я занимался, что я делал, с чем имел дело. Также, если ты не идешь на позицию джуниора, то тебя, в большинстве случаев, подбирают под конкретный проект, и на собеседовании, скорее всего, дадут какую-то конкретную задачу, которая касается проекта, чтобы проверить насколько ты умеешь включать логику и строить цепочку мыслей.
>>358737 Сдавал, учил на отъебись, 85%. Хватит почитывать по полчасика через день 1-2 недельку и разок перед сдачей часа за 2-3 прогнать по основам. Задач мало, можно выехать тупо на основных терминах, тест ниочем по сложности, сдать может любой, не относящийся к профессии человек тупо вызубрив.
>>359380 стописят евро, экзамены пару раз в месяц, почти во всех крупных городах есть, саму сертификацию признают больше в европах, у нас - так, для галки.
>>360621 Подтереться разве что. Бумажка сама по себе бесполезная и своих денег точно не стоит, в плюс, конечно, пойдёт, но на неё посмотрят далеко не в первую очередь, вот какой-нибудь сертификатик по яве или sql даст тебе 100 очков вперёд, правда там и уровень нужен соответственный.
Сап, куач. Так получилось что контора взялась за перехерачивание серваков для мобильной игрухи с целью повышения производительности. Как стоит проверять производительность для мобилок?
>>360884 > Как стоит проверять производительность для мобилок? Производительность самого устройства или производительность сервака при большом кол-ве пользователя?
>>360920 А какая в пизду разница с мобилы ты будешь ломиться на сервер или просто посылать запросы с другого сервера, например, с Амазоновских серверов? Аренда там хуйню стоит. Вообще, закажи ебучих бомжей, которые за 3 бакса в час тебе прогонят на 50 девайсах одновременное нахождение юзеров на сервере.
>>360943 >А какая в пизду разница с мобилы ты будешь ломиться на сервер или просто посылать запросы с другого сервера, например, с Амазоновских серверов?
>>361329 В тесте ещё было "найти баги в listboxer", кроме батника Думаю много студентиков на вакансию слетелись, вот они и выбирают кто получше. От того и требуют скрипты и вообще чуть ли ни на ходу там всякого выдумывают.
Выпустился из быдловузика по ИТ-специальности. Нужна непыльная работка, ничо делать не хочу. Смогу объяснить чем связанный список отличается от массива, как удалить элемент из бинарного дерева, и чем же так примечателен lisp с его макросами, в отличие от остальных быдло-языков.
>>361323 Если это ручник - то они прихуели немношк, ищи другую конторку. Батник это конечно не суперкодинг, но к ручному тестированию 0 отношения имеет, да ещё и со всеми требованиями с созданием директорий и т.д. Нахуй они вообще это батником делают, поинтересуйся у них, расскажи этим замечательным людям про junit или nunit или тысячи их аналогов. >Письменный и устный английский на уровне ПИСЬМЕННОГО ОБЩЕНИЯ Чего, блядь?
>>361189 >А какая в пизду разница с мобилы ты будешь ломиться на сервер или просто посылать запросы с другого сервера, например, с Амазоновских серверов?
Так, ладно. Как мне узнать как должны выглядеть ебаные скрипты, чтобы они значили "игрок идет налево на 5 метров" "игрок выкапывает ямку" "игрок идет нахуй на 4 метра". Предполагалось что это рекордер запишет, я сделаю значения переменными и скажу проге - замути так будто 100 человек этой хуйней занимаются. А что ты советуешь - я вообще не догоняю
>>363429 Так тебе надо проверить нагрузку на сервер или что? Нагрузка - предполагается, когда на сервер ломятся сразу овердохуя людей в одно время и смотрят на то, как сервер с этим справляется.
>>360920 По какому протоколу у тебя клиент с серваком общается? Если по http наврядли помоему, то JMeter или Yandex.Tank посмотри. Если нет, то HP LoadRunner, глянь там дохуя протоколов поддерживается. Правда он платный.
>>363429 Ты похоже в тестировании вообще не очень. Тебе не нужно эмулировать реальных 50 игроков. Тебе нужно эмулировать нагрузку, создаваемую 50 игроками, для этого достаточно дёргать типовые обращения к серверу от них и обратно с постоянным интервалом. То что ты описываешь - какое то говна уровня ботов для кача, по которым я хер знает, как ты собрался нагрузку потом считать.
>>363558 >>364204 Пока удалось выяснить что протокол UDP, попробую Jmeter, он вроде может с плагином. >>364206 >>363546 >когда на сервер ломятся сразу овердохуя людей в одно время и смотрят на то, как сервер с этим справляется.
Ну одно дело кидать 100500 запросов логина, другое реалистичные запросы тип "получить координаты", "послать что я хочу выкопать ямку". Для того чтобы понять как выглядит запрос "выкопать ямку" нужно либо рекордер либо дрочить разрабов чтобы они поискали (т.к. они сами не ебут). Мне надо сравнить насколько улучшится производительность после перехерачивания сервака. На запросы "хуй пизда дефолтный_запрос" он может отвечать одинакого => профита нет.
Производительность какого рода? Производительность сервера игрушки? В таком случае совершенно можно тестировать тем же ДжМетером, симулируя запросы разной сложности или даже устраивать сценарии, но тогда плотность запросов будет ниже из-за вычислений на стороне ДжМетера.
>>378807 Предложили через знакомых работу по тестированию очередных китайских смартов, которые начнут или уже поставляются на наш рынок. Просят знания тестирования мобильного софта (я в поисках джуниорской позиции андроид-макаки), полагаю, заставят смотреть как на этих поделиях дядюшки Ляо запускается ебейшая модификация андроида от папеньки Хуя.
Посоны, хочу работать Джава сеньор-помидором. Для этого начал потихоньку учить Джаву, прикупил даже книгу Head First Java. Думал, вкатиться в тестировщики, ибо на собеседованиях на Java Junior мне сказали, что ещё рано об этом думать, вначале надо прочесть пару умных книжек о джаве в целом и алгоритмах в частности.
Думал в тестировщики вкатиться, но из фака этого треда я понял, что не стоит. Так ли это? Т.е. лучше в Евросеть щас пойти продаваном, а дома уже учить Джаву, пока не достигну дзена и просветления?
>>379152 Работа тестировщиком полезнее продавана. Хотя бы на процесс разработки изнутри по смотришь. Ну там, на штуки вроде скрама и багтрекера. Правда про алгоритмы и структуры данных нихуя нового не узнаешь.
>>379152 >>379442 + работая тестировщиком ты изучишь продукт компании. Это полезно если в компании предусмотрен переход в разработку автотестов или продукта.
НН-аноны, поясните по хардкору, в какую контору у нас стоит вкатываться? Есть на хх всякие меры, мфи, ланиты, кроки. Вакансии висят и не закрываются. Там всё так плохо? И какая зп у нас в городе считается адекватной для джунов и мидлов?
>>382473 Для меня то что вакансии не закрываются-верный признак их хуёвости. Либо они никого не нанимают, ищут раба, либо предлагают хуёвые условия, так что кандидат увольняется сам ещё на испытательном сроке.
>>382493 Я поэтому и хочу инсайдиков от землячков. Потому что если не эти конторы, то кто? Auriga, ST, Five-9, F-технологии, Intel что-то не очень джунов зазывают. Может я какие-то ещё упускаю или не знаю что-то про перечисленные.
>>382493 Либо приходит вчерашний студентик на понтах на вакансию тимлида и начинает вещать прямиком из какого-нибудь ссавина про свой многогранный опыт. И так 7 раз подряд. Сильно зависит от компании, опять же, какая-то не сможет позволить себе нанять джуна без опыта сеньёра, наебалово? Как посмотреть, тебе честно говорят о требованиях и ЗП, 95% адекватов крутят у виска и идут дальше, оставшийся 5% когда-нибудь в такую кампанию и устроится в рабство, но происходит оно не мгновенно, вот и висят. И ещё сотни причин, далеко не всегда от хуёвости.
>>347082 (OP) Анон, помоги написать что-то в резюме на джуна-тестировщика. Предложили устроиться по знакомству, но всё равно как-то неудобно отправлять резюме. занимающее половинку страницы. Опыта работы в ИТ нет, образования высшего тоже, так что эти пункты я опустил. Перечислил языки, на которых могу писать и фреймворки и технологии к ним, базы данных и прочее. Написал про ООП, знание алгоримов и структур данных, ещё абзац нахуярил про навыки, вынесенные с прошлого места работы, всякое умение приспосабливаться к меняющимся задачам и коллективам, стрессоустойчивость, уровень английского, но всё равно получается чуть больше половинки страницы и это всё с контактными данными и фоткой. Посмотрел резюме знакомого, но он тимлид, так что оно на шесть листов с перечислением того, где он работал и как помогал заказчикам внедрять всякие технологии в анус, но мой опыт тут не подойдёт. Не напишу же я, что штрафовал индивидуальных предпринимателей и проводил проверки.
Это ведь зашквар, отправлять такое короткое резюме? Что ещё можно дописать?
Аноны, накидайте ваших зарплат/опыт(не просто сколько лет, а чем занимаетесь) и городов, можете как-нибудь завуалировать, если боитесь деанона, всякие ДС слабо интересуют, с ними не смогу скореллировать. А то у меня немножк складывается впечатление, что я дохера въёбываю, а на мне нихуёво так зарабатывают. Хочу узнать, зажрался ли я или что. 27к-мухосранск-автоматизатор+весь остальной объём по документации - 1,5 года, фирма 300+ человек.
>>387588 Если тебе платят 27к за полный день, то ты работаешь примерно за з/п ручника с 3 месяцами опыта. Ну это судя по софтверной компании где я работаю(офис находится в мелком городе с небольшими зарплатами, а в дс/дс2 и тд).
>>387645 > Если тебе платят 27к за полный день, то ты работаешь примерно за з/п ручника с 3 месяцами опыта. Ну это судя по софтверной компании где я работаю(офис находится в мелком городе с небольшими зарплатами, а не в дс/дс2 и тд). Быстро фикс
Анончики, начинающий ручник просит помощи. Получил тестовое задание: Необходимо написать тест кейсы на следующий новый функционал: To implement web-service which will provide SOAP/HTTP interface for UI application. Web-service should return in response concatenated value of first name + last name found by user id provided in request to the service. Information about users is stored in database USERS table with columns: User_id (number, PK), First_name (varchar2(50), nullable=true) Last_name (varchar2(50), nullable=false)
Правильно ли я понял, что в данном случае мы имеем Веб сервис, который в ответ на наш запрос (Id пользователя), выдает строку Имя+Фамилия пользователя, которая извлекается из таблицы USERS в базе данных, при том, что в таблице обязательно указана фамилия, а ячейка с именем может быть пустой? Я не прошу сделать за меня задание! Хотелось бы услышать наводящие мысли по данному заданию, подсказки по идеям для тест кейсов.
>>387730 Довольно странно, что для ручного теста такая подробная техническая детализация, я и для автотестов не всегда такую имею. Глазами текст пробежал, кейса 4 позитивных накидать можно. Обрати ещё внимание на ограничение по длине. Не совсем понятно как могут передаваться данные и может ли на вход придти некорректные.
>>387645 Вот и у меня последнее время подобные мысли крутятся, просто по тому же hh и прочим говносайтецам сейчас в принципе невозможно оценить реальную среднюю зп - дохерища агенств и прочих 60к, которые оказываются 10к+можетмывасповысим.
>>387730 как-то так, думаю, больше там смотреть нечего 1) имя + фамилия заполнена 2) имя null, фамилия заполнена 3) имя пустое ("", " ") фамилия заполнена, проверить что в ответе будет "Фамилия", trim конечной записи, а не " Фамилия", если требуется 4) фамилия + имя, проверить что в ответе приходит "Имя Фамилия" или "ИмяФамилия", в соотв. с требуемой бизнес логикой, не ясно что значит "concatenated value" 5) запрос на не существующий id 6) запрос с некорректным id 7) запрос без id (пустое тело запроса) 8) имя(50 символов) + фамилия(50 символов), проверить корректность ответа, переполнение и т.п. 9) можно какой-нибудь изврат в имени написать, типа "имя\n" "фамилия\n" с экранированием спец. символов и прочее
>>387949 поэтому и спрашиваю))у самого много вопросов возникло, не понятно, можно ли вводить любой id, даже некорректный, + известно что есть ограничение по длине в БД для имени и фамилии, (50 байт как я понял) + сказано про протоколы hhtp и soap, я чайник еще, и не понимаю как это можно использовать. И кстати, это вакансия стажера на 20к дс2, молюсь чтоб взяли, но с задания офигел немного. Hr сказала что если будут вопросы, можно писать на меил, ну я и написал ей пост который выше + еще добавил пару идей по тестированию. И еще вопрос в каком виде тут оформлять сами кейсы, как таковой процедуры нет, и ожидаемых результатов тоже парочка.
Самое смешное, искал это тест задание в гугле, и одна девушка везде спамила, просила чтобы ей сделали, вообще ничего не понимала, ну даже перевести не могла. Постила на 1 русском и 2х англ форумах, но по существу никто не ответил, это было 2 дня назад. Но мне повезло что есть аноны из QA треда, готовые помочь.))) Правда теперь если загуглить это задание, то выдает двач, теперь у моих конкурентов есть информация*(
>>387986 почитай главное про http/soap, как оно устроено =) ограничения на длину есть в БД, соответственно это у тебя уже есть исходные данные, в базу ты ничего не пишешь, а только тянешь оттуда. Нужно проверить ограничения на переполнения (если такие вообще есть, зависит от реализации) на выдачу concatenated value. Короче, на самом собеседовании я бы задавал уточняющие вопросы по заданию, т.к. требования не полные. Кейсы можно в классическом стиле набросать, типа: Предусловие: создать запись в базе с id таким-то, name = null, surname = "Ivanov". Шаг 1: отправить soap - запрос на <servicename>, содержимое запроса <soap_body> Ожидаемый результат: ответ от сервиса: "Ivanov" Я бы сделал в таком духе.
>>347082 (OP) Есть тян 35 лвл, из образования только ПТУ, на компе умеет гамать, смотреть фильмы и сидеть в контакте. Программировать не умеет, математику знает плохо. Реально ли ей стать тестировщицей?
>>390319 если только манки-кликером, при большом желании можно расти, но для этого надо мозги включать и постоянно расширять свой кругозор, а в 35 этого делать уже не хочется, хочется веселую ферму и варить борщи.
Анон, какие есть перспективы в автотестах? Вот у программистов всё ясно: junior->middle->senior || прожект-менеджер || бизнес-аналитик. Иногда присылают предложения на тестера. Сам я кодер, но весьма посредственный, топчусь на месте. Да и денег больше хочется или в тестировании больше не будет, чем у разработчика?
>>392797 > Анон, какие есть перспективы в автотестах? Вот у программистов всё ясно: junior->middle->senior || прожект-менеджер || бизнес-аналитик. Хз как в других компаниях, но у меня на работе из автотестов можно перекатиться в разработку продукта. Кстати, а что мешает тестировщику стать ПМом?
>>392797 >в тестировании больше не будет, чем у разработчика? Либо меньше либо столько же, с чего бы больше? Речь, разумеется, о примерно одинаковых ступенях, нормальный qa будет получать больше джуна-разраба и наоборот. >всё ясно: junior->middle->senior || прожект-менеджер || бизнес-аналитик. Вообще гораздо чаще такие переходы именно у qa происходят, чем у кодеров, просто потому что в большинстве проектов где нет своих аналитиков аналитикой занимаются по большей частью qa как и менеджементом, в разумных пределах.
Здравствуй, опытный анон-тестировщик. Хочу начать, так как чувствую, что это МОЁ. Дислокация - ДС.
Что имеется: 1. Почти профильная вышка в мухосрани, отдельным предметом изучали вот это вот всё. 2. Опыт работы экономистом, потом саппортом в геймдеве (не удаленка). Всё по году примерно. 3. В рамках работы саппортом приходилось заниматься тем самым ручным тестированием браузерок и взаимодействовать с ЖИВЫМИ тестировщиками и китайскими разработчиками. 4. Объект женского пола, возраст - хорошо за 20.
Вопрос первый: Можно ли в ДС расчитывать на начальные позиции с зп от 35? С перспективой остаться в этом надолго. На hh как-то мутно всё выглядит.
>>394525 (ебаный ктрл+ентер) И вопрос второй: существуют ли конторы, в которых можно попрактиковаться почти за бесплатно через интернеты? Что-то такое рассказывали, но не помню ничего.
>>394525 Ну по описанию ты почти идеальный кандидат для джуниора, если всё описанное относительная правда, насчет начальной зп - хз, смотри\звони\ходи, не боясь отказаться, если предложат донную. Смысл практиковаться за бесплатно мне не совсем понятен, если опыт ручного уже был, можно вкатываться и без него вкатываются так-то. Вот насчет дальнейшего роста уже вопрос, зависит от твоих реальных навыков и конторки, в которую пойдёшь. Если есть ещё какие-то вопросы можешь конкретизировать здесь либо в скайп из шапки, я там периодически бываю.
>>394525 Вполне возможно, мне кажется. Я ходил по приколу собеседоваться на вакансию джуниор тестера в одну аутсорс-кьюэй контору недавно. Были базовые вопросы по юникс командам, шиндоус, базовая джава, эскьюэль, тестированию, потокам, процессам, а также задания на логику и алгоритмы. Вроде 35к и предлагали.
Благодарю за советы. Специализированных знаний по тестированию почти нет - с этим могут быть проблемы. С юниксами, sql и прочим есть знакомство лишь на уровне простого юзера.
>>395419 > С юниксами, sql и прочим есть знакомство лишь на уровне простого юзера. Простой юзер юниксов и скуля - это что-то больше прокликать далее-далее в убунте и смотреть кинчик вконтаче? Если да, то это уже охуенно, забивай в резюме. Вообще всё забивай в резюме. 35 джуном с таким опытом очень даже достижимо.
мимо взяли джуном на 30к с одним прочитанным савиным
>>395877 По угару довелось ставить несколько юникс-систем, успешно поднимать впн написанием батника (или как он там у юниксоидов, по инструкции офк). Скуль таки изучался на уровне команд совместно с базами данных, но не помню нихуя уже. С серверами пересекаться не приходилось.
Ало слыште Как по-человечески презентовать время отклика (в jmeter если че) Суть тестирования такова, надо доказать, что один и тот же функционал в новом сайте не медленнее, чем в старом
Допустим, на старом сайте запускаю сценарий из нескольких действий с фиксированным количеством пользователей, так, чтобы было >=100 замеров по каждому действию. Сценарий типа лагин, открой форму, отправь форму 1, отправь форму 2. Потом делаю то же самое с увеличенным количеством пользователей. Делаю то же самое на новом сайте. Таким образом, у меня дохуища замеров для одного и того же сценария с одной и той же нагрузкой для старого и нового сайтов, я могу сопоставить замеры логинов на старых и новых. Мне доступны всякие статистические показатели вроде всяких средних, стандартного отклонения, мин макс, персентили. Как можно четко зделать вывод, если среди всех показателей не прослеживается одна и та же тенденция? Типа в новом сайте среднее для отправки формы 1 лучше, среднее для отправки формы 2 хуже. И че дальше, грить "плохо сделали, тупо"?
>>399787 >>400262 Бля а по теме производительности есть че? Вот я запускаю прогон, 500 сэмплов, среднее 4 секунды. Запускаю второй раз, среднее бля 8 секунд. Какая-то хуйня произошла, максимум поднялася на 200 секунд один раз, ну вы поняли. Хули в таком случае делать. Распределение хуй пойми какое. Возьму медиану - а что, если проблема в трети измерений. Брать 95% линию как критерий сравнения? А если и там аномалии? Возможно, что-то не так с самими тестами. Проблема в том, что такие ситуации не разбираются в интернете. Потому что мало кто может, а кто может, тот не пишет, а кто не может, постит хуевые таблицы из коробки, которые никто не читает, говорит "мля ну тип норм", и все забывают об этом до следующего раза.
Во-первых, очень важно, чтобы сравнения были в правильной конфигурации - или совпадающей с продом или отличающейся в каких-то незначительных деталях (и тут есть опасность знатно проебаться).
Во-вторых, обрати внимание на подачу нагрузки.Ты прогоняешь просто фиксированных 500 запросов? Используешь jmeter со сценарием? Энивей, убедись, нагрузка подается одинаково для старой и новой версии и результаты достаточно стабильны, чтобы делать по ним вывод. Например, если у тебя мало потоков и запросы замедлились, то в тесте у тебя будет подаваться значительно меньший рейт запросов. А если бы ты подавал прежний рейт - может быть вообще бы все распидорасило, т.к. стало проца в 100500 раз больше жрать.
В-третьих, что ты мониторишь во время тестов? Нужно как минимум собирать системные метрики (загрузка памяти/проца/диска/сети), если приложение позволяет посмотреть на какие-то метрики из потрохов (например, если есть БД - сколько времени было потрачено в запросах к БД на каждый запрос в приложение) - их тоже хорошо бы собирать - помогут понять, во что же ты упираешься.
Про квантили - ты начал думать в правильном направлении, но зачем ограничиваться одним квантилем? Построй распределение для нескольких, например медиану, 75%, 90%, 95%, 99% - так проще будет видеть, где выбросы. Кстати, форму распределения можно увидеть просто в экселе построив график числа запросов от времени обработки. Плюс можно кумулятивную функцию распределения аналогично сделать.
Если запросы разнотипные - убедись, что они у тебя по-разному размечены в отчете, чтобы можно было посмотреть по ним индивидуально - где именно просело - это поможет сузить область поиска.
Далее, обрати внимание на подачу нагрузки - для отлавливания проблем с проседанием производительности лучше подходит синтетика - нужно сделать минимальный кейс для воспроизведения проблем и погонять его на старой и новой версии, смотря, что именно изменилось. Тут уже может быть нужно залезать в потроха системы - не стесняйся привлекать разработчиков и, особенно, админов ("если не исправим эту жопу сейчас, вас потом будут ебать за то, что все тупит@тормозит").
Печатать много влом, если хочешь - могу еще немного рассказать голосом, запили свое мыло - скину скайп, например
Сам занимался сначала ручным тестированием веба и iOS приложения, потом перекатился в нагрузочное тестирование. Могу пояснить за него, ну и плюс немного за линуксовое админство.
>>403189 Дорабатываю в своей игровой конторе до начала весны, чтобы год стажа набить и в отпуск съебать. Повторяю основы, опыта же нихуя нормального. Общаюсь с нашими бывшими тестировщиками и игровыми редакторами (тоже норм тема), пугают много.
Пока только просматриваю варианты игровые, но меня офк ни в какую иннову не возьмут. А в говноконторах меньше 30ти платят. Собираюсь пока что на такое, ничего сложного, никаких админств:
- Ручное тестирование игровых приложений для мобильных платформ; - Поиск и занесение найденных ошибок в баг трекер; - Перепроверка найденных ошибок; - Тесное общение с командой разработчиков проектов.
Я сам учился на практике и мне кажется так гораздо проще осваивать, у тебя есть какой-то небольшой сервис, который можно потестировать - было бы хорошо на нем потренироваться.
Если нету - можно попробовать поставить тот же wordpress или еще что-то и потренироваться на нем, заодно и с настройкой сервера можешь поразбираться.
Могу рассказать что-то подробнее, но не знаю, что тебе будет интересно.
Алсо, удвачиваю этого: >>404518 если что-то умеешь - не бойся идти и пробоваться, макакой есть шанс попасть если демонстрируешь минимальную адекватность.
>>404626 Ну и много ты с базами натестировал успешного? Все сходятся во мнение, что тестирование не на лайве - говно ебаное и доверять результатам стоит процентов на 10.
>>404789 Ну охуеть теперь, зачем тогда вообще нагрузочные тесты делать? Кати в прод, да смотри, что развалится.
Тесты напрямую в базы делал в двух случаях:
1) Есть подозрение, что какие-то запросы тормозят/жрут много проца, но диагностические возможности в базе сосут (привет, mysql!) и по ним определить виновника сложно. Тогда собираешь лог запросов и гоняешь их, возможно - вообще по отдельности и смотришь на метрики.
2) Есть желание что-то потюнить в самой базе, приложение, которое в норме в нее ходит, будет только лишний шум добавлять. И/или само по себе недостаточно производительное - чтобы убить один сервер с базой надо десяток фронтов перед ним ставить.
Естественно, результаты таких тестов нельзя напрямую переносить на прод, т.к. тестируешь изолированный кусок системы, но для отлавливания проблем - очень помогает.
>>404796 Ты совершенно не понимаешь сути. Для функциональных тестов это бы прокатило. Ну и научиться натыкивать сэмплеры в jmeter так тоже можно.
Но тут ты не можешь ни сравнить контролируемо старую/новую версию, ни посмотреть на метрики потребляемых ресурсов. И сеть тоже может неконтролируемо флапать - поди разберись у тебя пик таймингов был из-за тормозов сайта или у твоего провайдера говнороутер не справляется с кучей торрентов.
Да ты даже входящую нагрузку тут не регулируешь, потому что если начнешь много запросов слать - тебя забанят и все.
Среда для тестирования отличается порядочно от лайва, думаю. Там 4 сервера в балансировщике, у меня 2 и неизвестно какой конфигурации. Но идея в том, чтобы отловить совсем херню
Окружение на стороне заказчика, мониторинг тоже у него, так что я могу смотреть названные тобой показатели, ну вот в пятницу обнаружили длинные вызовы в сторонний сервис.
jmeter с "реальным" сценарием и фиксированной нагрузкой (N пользователей делают хуету по кругу, потом большее N). Запросы помечены для моего отчета, и чтобы в мониторинге их было видно отдельно.
Про квантили это вроде все хорошо при нормальном распределении? Проблема именно в том, что я не могу точно сказать, просело из-за изменений или аномалия сети и так далее. Одно из решений мониторинг, а по поводу распределения, может, нужно еще больше семплов типа 1000+?
>>405386 То, что в балансировщике меньше серверов - это может быть и не страшно совсем, тут все зависит от того, как оно масштабируется. Бывают особо удачные случаи, когда на интересном отрезке - почти линейно. Смотри внимательно на бэки, в которые они ходят, если они общие - это потенциальное узкое место при масштабировании.
Если у тебя в jmeter фиксированное и небольшое число пользователей, то ты моделируешь "закрытую" систему - сервер тормозит - клиенты ждут, сервер просрался - клиенты фигачат во всю. На проде у тебя тоже ограниченное число пользователей или это сайтик, куда народ может толпами приходить? Если больше похоже на второе - попробуй подавать нагрузку в стабильных rps - смысл в том, что число параллельно исполняющихся запросов растет при росте времени ответа сервера, т.е. нагрузка на него тоже будет расти и проблемы будут лучше заметны. http://jmeter-plugins.org/wiki/ThroughputShapingTimer/ тебе в помощь, ну и вообще посмотри на эти плагины, если еще не - там много полезного.
Про распределение - уже объяснял же - постой где угодно, хоть в экселе график "число ответов от времени ответа" и такой же накопленный. Считай, что это твоя функция плотности и функция распределения.
Если у тебя нормальное - его как раз легко описать просто средним и дисперсией, хуе-мое, доверительный интервал прикинул и в отчет - 99%, пользователей получат ответ до выхода на пенсию.
Но обычно распределение похоже на логнормальное с тяжелым правым хвостом, да еще и неравномерно убывает - часто бывают далекие пики, например, на каких-нибудь таймаутах (это может говорить о проблемах в настройке тестового сервера, кстати).
По поводу долгих вызовов в сторонний сервис - он совсем сторонний (другая компания, тесных связей с ней нет, возможно вообще прод)? Сложно ли его замокать?
Тут такое дело - проверить поведение в случае проблем во внешних сервисах - дело хорошее, но сравнивать данные по релизам при недетерминированных тормозах в них - бесполезно, это всю картину смажет.
Если это тоже ваш сервис, просто не тот, что ты сейчас тестируешь - посмотри, сложно ли будет его отдельно протестить. Если нет - советую сделать. Будешь лучше понимать, как он себя ведет, узнаешь пределы по нагрузке, которые держит. Плюс научишся мониторинги для него правильно интерпретировать.
Если сервис хуй пойми чей и мокать сложно - надо делать мониторинги. Например, попроси логировать времена обращения к нему, строй по ним отдельные графики и смотри в эти метрики тоже. Тут надо быть осторожным - высоки шансы, что такой мониторинг будет врать - захватывать какие-то операции внутри сервиса или, наоборот, что-то нужное исключать.
Из извращенных вариантов - можно тестировать ПАРАЛЛЕЛЬНО и твой сервис и сторонний (если запас по производительности позволяет), если твой сервис начинает тупить на походах во второй, а по другому тесту сторонний бодрячком - посмотри, правильно ли вы туда ходите (пул коннектов слишком маленький, например).
>>405386 Ах, да и по поводу числа сэмплов - чем больше - тем лучше, конечно (при прочих равных) - выбросы будут меньше влиять, на более продолжительном тесте можно заметить периодические проблемы - крон раз в полчаса, который все раком ставит и принудительный сброс кэша раз в n минут после которого в первый момент все тормозит.
>>405706 >>405734 >>405770 Число пользователей ограничено, про таймер проходимости читал смарел но не пользовался пока. Да и не знаю надо ли пока.
Сервис той же компании, но его поддерживает другая команда, у них вроде какие-то тоже тесты есть. Ну к ним обращусь. Мокать наверное не варик, у нас никто так не делает ((
Распределение именно такое, как ты описал, судя по тому, что я просмотрел по картинкам, лол. Только не понял, вот будет функция распределения, она поможет выбрать показатели для сравнения, или это всегда будут квантили, среднее, минимум и максимум?
Хорошие все советы спасиб браток, не хватает этого на моей работе ты математик или около того?
>>404888 Ну это я и сам делал\видел как делали, думал что-то ещё упускаю. >>404906 Тащем-то я имел в виду именно пописать запросы к апи, а не производительность смотреть, может жопой читал, на что отвечал, засыпаю ИТТ обычно.
>>406367 Про таймер - см. выше про открытую закрытую систему, прикинуть на коленке можно так: посмотри сколько пользователей на проде, подели на мощность серверов в проде в попугаях и домножь на мощность тестовых серверов в тех же попугаях. Если подаешь нагрузку примерно таким числом - на первый взгляд ок. Попугаев для сравнения надо выбирать по критическом ресурсу - смотри, в какой первый ресурс упирается в тесте на разладку (когда подаешь нагрузку, пока серверу не поплохеет). Если упираешься в дисковую подсистему - пичаль-беда, ее сложно сравнивать, потому как кэширование, планировщик ОС, очереди, вот это все.
Кстати, подавать нагрузку на разладку с шейпингом по числу запросов в секунду обычно удобнее - если сервис или jmeter перестал справляться вместо плавно растущей линии или аккуратных ступенек увидишь полку или "пилу" (накапливается пачка запросов тяжелых запросов - разгребается, все работает, пока не накопится новая).
Мокать приходится от безысходности - когда ставить полноценное другое приложение слишком сложно или от него невозможно добиться стабильных времен ответа. Смысл в том, чтобы получить стабильное окружение для тестирования, в котором результатам сравнений можно будет верить.
Про сравнение - совсем забыл спросить: есть ли у тебя какой-то SLA? Пусть не зафиксированный в явном виде - но некое общее понимание, какие времена ответа ок, а какие уже нет? Дойди до менеджера сервиса, смежников, пользователей и т.д. и спроси, какие требования по времени ответа. Не жди, что они ответят вразумительно сразу, но тебе надо будет получить что-то вроде: 95% запросов за 200мс, 99% за 1с. Вероятно, для разных запросов требования будут отличаться, например, на сайте главная страница должна грузиться меньше чем за секунду для всех, а вот какой-нибудь сложный фильтр или поиск может 2-3 сек работать. Во-вторых: что мешает тебе построить две функции распределения и сравнить их? Считай, что это сравнение по всем квантилям сразу. Тут можешь увидеть всякое интересное, например - ускорились на лучших 25% запросов, зато на худшем 0,5% ухудшили вдвое. Среднее в качестве критерия сравнения для систем с живыми пользователями плохо использовать потому, что без дисперии оно мало о чем говорит, а люди не умеют интуитивно интерпретировать стандартное отклонение иплаинг: математики не люди. А если ты строишь доверительные интервалы - так это те же квантили, считай (если односторонний - так вообще то же самое).
Совсем другое дело - не-интерактивные (батч) системы. Если у тебя есть сервис, которому кидают пачку заданий а он их какое-то продолжительное время разгребает, и результат - обработка всей пачки - то тут как раз среднее+стандартное отклонение - норм критерий - для итоговой оценки не важно, что часть запросов тормозила, потому что результат все равно появится только после обработки всего.
Если у тебя итоговое распределение многомодовое получилось (несколько "горбов") - построй по разным типам запросов, возможно, это эффект наложения нескольких логнормальных. А может просто у вас с сетью хуйня какая и это так ретрансмиты портят результаты - тогда на распределениях по отдельным типам запросов увидишь те же пики.
Если хочешь поупражняться в статистике - можешь еще посчитать средние и доверительные интервалы, но тут нужно понять сначала, какое распределение описывает твои результаты (возможно, надо будет разбить на несколько по типам, см. выше). Я этим никогда не заморачивался - от меня формальных оснований не требуют, а на графиках и так все хорошо видно обычно.
совсем не математик; знание статистики штука полезная, но здравого смысла и умения качественно интерпретировать результаты (на уровне - какая форма распределения и можем ли мы верить результату с такой дисперсией) мне хватает
>>406671 Ок, понял про загрузку. Сла никакого нет в принципе, всем похуй. Проект внутренний, тип посмотри что совсем пиздец не стал из и так тормозящей хуеты с 1500 запросов в базу при логине, лел. Короч буду смотреть в сторону функций распределения. Книжки какие-нибудь подскажеш?))
Короч воркач, пришел к тебе поныть, и, наверное, за советом как делать бочку. Суть такова. Вкатился я в QA. На момент вката опыта было 0 по данной специальности. Да и вообще вышка у меня тоже не техническая, и в IT я полный дилетант. Так, мог в какое-никакое базовое погромирование на жабе/питоне/бейсике. Да и в принципе, знал мальца больше чем "Как переустоновить ШИНДОШC". И таки меня пригласили на собеседование в одну конторку. Конкретно про то как сам процесс собеседования проходил говорить не буду, достаточно знать что он был довольно адекватный.
Мне сразу обозначили, мол ты хуй с нуля, да чет ты знаешь, не канает, пиздуй как ТЕ за 15к(Да анон блядь, 15к, ДС,15к), но сначала, неделю теории у нас, потом сдаешь, потом идешь к заказчику, и там он уже дрючит тебя в другом месте(естественно за нихуя).(компания аутсорсовая) Я согласился на этот ад. Стоит сказать что за так я не работал. Так учил внутренюю док-цию, ЖЦД, инструменты тестирования. В конце таки сдал охуевший довольно экзам, и вот спустя месяц я ТЕ за 15к.
И вот я уже 2.5 месяца там. Карьерный рост внутри компании? Он блядь настолько медленный и пиздецовый что пиздец. Защищаешь, местами, охуевший ИПР(индивидуальный план развития) и твоя зарплата растет на 20%(с 15к то, где тут золотую цепь со знаком даллара купить?).
Уходить, искать что-то еще, уже с опытом на норм зп? И вот тут то подводный камень. Вот я оглядываюсь назад. И что я вижу блядь? Чему я за 2.5 месяца(ну за 3, если засчитать дни неоплачиваемого штудирования док-ции) научился?
Работать с TFS в котором разбереться школьник-аутист за 15 минут? Копипастить и местами править SQL скрипты уровня select то-то? Работать с внутренней системой заказчика, которая никому, кроме него, в хуй не уперлась?
Уж благо Siebel со всех сторон обдрочил. Охуеть достижение.
И большего работа не предполагает. Ставишь зеленые галочки на тестиках, ссышь в ебало сис.админам/тестовой модели/разработчикам если зеленую галочку в шаге тестика не поставить. Они сопротивляются, но ты ссыш. Говорят "фича" ты ссышь.
А потом опять тест, опять копипаст наизусть заученного скрипта, галочки, поставил себе роли на зибель, О ебать интеграция зибель-хуйнянейм.... как всегда не работает, алло сисадмин, мудак, логирование включи.
Больше работа не предполагает нихуя. Куда расти? Куда идти? Пиздос.
>>407787 Отписывался тут летом. Работал тестировщиком в Мамбе. Получал 40к, потом 50к... А потом решил два бизноса стартовать. Уехал к себе в родной город Владимирской области. И стартую, лол. До этого ухватил удаленку за 15к в месяц (не связана с прошлым тестировщика) и развиваю свои два дела. Доволнен ли я? Да. Ушел отчасти потому что как и ты не увидел дальнейшего развития. отчасти потому что давно хотел самостоятельно зарабатывать деньги, а не через кого-то. Ну, и потолок на моей должности был выбран полностью, а искать новое место уже и не хотелось, так как начал углубляться в нюансы своих занятий.
>>407852 Не располагает, так сказать, должность, у нас пишет все ТМ, а выполняют тест-макаки. Нет, писать то конечно можно, просто как аутист, как минутное хобби. А так, написать смогу, думаю. Вот в том то и дело. Что я не знаю, вот что я черпаю с моего текущего опыта. Ну проработаю я пол-года за еду. И что я смогу предложить, такой опытный, другому работодателю? Вроде как пошел за опытом, а вот реально того что его получаю не чувствую. >>407866 >Получал 40к >Потом удаленку за 15к >удаленку Бля, а я еду за 15к в ДСовские пердя в другой конец города, чтобы сидеть в офисе-муравейники, где ебанные надсмотрщики заказчика будут уговаривать меня выйти в субботу ибо у них РЕЛИЗ, и вообще не ебёт что два дня подряд из-за распиздяйства сисадминов ТС не работал, и отствание, иди дружок, выйди за 15к.
>>407883 Лол, эти аббревиатуры. А так, слишком большая фирма, наверное, читай С. Канера для ознакомления с терминологией для собеседований и вали через полгода куда-то в менее формальное место, будет больше швабодки и обязанностей. Живой макакой эт пиздец, мне после стажировки сразу дали писать тесты для новых функций
>>407787 Только один вопрос у меня возник. Какого хуя ты там до сих пор сидишь? Ты блядь в ДС живешь, уволился нахер и пошел другую работу искать. Уровень кандидатов сейчас такой, что в тестеры берут полных аутистов.
>>407787 > Копипастить и местами править SQL скрипты уровня select то-то Уже достаточно, чтобы получать 15-20к в мухосранях. Прыгай в другую фирму, в твоей оставаться смысл был только если научиться чему-то можно было бы.
>>407030 Книжек хороших я и не знаю. Может я что-то упускаю, но мне кажется, что больше пользы от админских и програмистских знаний, типа "как правильно затюнить ядро под большое число tcp сессий", "какая асимптотическая сложность у используемого алгоритма", "как профилировать приложение под нагрузкой, чтобы минимально влиять на результаты".
Тред не читал. Программирование - эта такая хуйня, что если тебе не дано, то работать прогером ты не сможешь, либо будешь работать сверхурочно. В общем многим не хватает абстрактного мышления, чтобы работать прогером. Программирование - для избранных.
>>408972 В Москве требования начинаются с 40к зарплаты. До этой цифры - разве что хотелки. Прочитал ссавина, знаешь sql и говнокодишь понемногу - ты уже царь и бог джуниоров-тестеромакак.
>>356011 >А вот разница во взгляде на вещи - огромна. Как я понимаю, кодер не всегда может адекватно взглянуть на получившийся результат со стороны пользователя, поскольку его голова в основном забита тем как закодить данный функционал чтоб он работал, а не тем что в конечном итоге получится.
Тестер же наоборот только и думает, а что же у нас тут блядь в итоге получилось, и как это воспримет конечный юзер. Поэтому тестер и является последней инстанцией перед "выходом в свет" очередного куска кода.
Сап, тестаны. Где вообще набраться конкретно практического опыта, если сейчас вкатиться в QA весьма сложно из-за ситуации на рынке/странах снг и всем нужны как минимум ебаные миддлы? Тестирование, в отличие от разработки, весьма нравится, все найсец, но всем минимум пару лет опыта подавай. Как толком вкатиться-то?
>>417202 Опыта заседания в оффисе и просиживания штанов за тестами таки нет. А так тестил свои и не свои проектики, тащемта. Все норм, никто, лол, не жаловался.
На миддла? А на его планку в > min 2y of qa experience вообще насрать можно, да?
>>417251 Конечно можно, щас те залётный погромист расскажет, как легко быть тестировщиком и любой грущик приходит такой и устраивается. Нет, попытаться конечно можно, но если у тебя представления в предметной области нет, но при этом ты умудришься устроится на мидла - дай знать, приду в эту фирму на пост директора. Если серьёзно - джуниоры дохуя где нужны, просто ты не умеешь пользоваться гуглом, а это, к слову, необходимый навык в IT.
>>417817 "Предметная область" тестирования - это классы эквивалентности, погроничные значения и pairwise? Интуитивно-рациональный подход в написании отчетов об ошибках? От джуниора до мидла не такая уж и большая разница
>>417817 Знания ведь есть. И гуглом так-то умею, лол. И джуны действительно нужны, но в других городах. В хохлоДС и миллионниках. А я немного не в них. В рашке небось и подавно выбор побольше. Ну, ладно, раз нужны, буду искать еще, чоу, хотя один хуй подобное в моем 500к-городке появляется крайне редко. Или вообще в Киевы перекачусь, там надежней.
Прочитал Савина, потихоньку читаю рандомные статьи, собираюсь ставить Селениум. Немного (могу написать тупой скриптик или калькулятор) знаю Питон и ЖС, игрался с ПХП так же. В следующий понедельник идти на собеседование низшим тестером есть смысл, или я что-то забыл?
>>418537 Ну, читаю художественную и техническую (если в теме секу) литературу (говнокодинг на инглише учил) без проблем, смотрю фильмы в оригинале без сабов и с англосабами, могу с рандомным Джоном Смитом в чатике/на форчане перетереть за жизнь и на какую-нибудь нейтральную тему, могу писать грамматически корректным образом длинные тексты, если есть необходимость, хотя вот это тяжело будет. Акцент есть, но не такой, что кровь из ушей от него будет у кого-то, кроме носителей, ну и вменяемый художественный перевод составить не смогу, но в последнее умеют в основном только филологи и переводчики. Такого уровня хватит?
>>418645 Главное, чтобы на собесе мог свободно попиздеть на рандомные темы так, чтобы ты понимал, что от тебя хотят и мог ответить, чтобы поняли тебя, а так норм. Во временах не путайся, главное.
>>403188 Ебать ебать. Почитал я тебя и закралось у меня подозрение что как-то плохо я делаю и тупо. Вот какую хуйню я обычно делаю. Лид выкатывает тестовые сценарии и хотелки заказчика, типа сколько юзеров эмулируем, сколько юзеров какой сценарий делает, сколько запросов в секунду на пике нагрузки должно быть и т.п. По этому делу фигачатся скрипты. Ну и значит при тестировании наращивается количество инстансов скриптов до пикового значения о котором договаривались, ну и параллельно палится время ответов от приложения, такой ли ответ ожидался, вот это все. А в отчет идет среднее арифметическое время ответов и кол-во "юзеров" по времени, когда, сколько и какие возвращались ошибки и на каких операциях. На дисперсию я вообще не смотрю. И железо мы вообще не мониторим, хотя возможность вроде есть. То ли этим одмины занимаются, то ли мы на это хуй положили. Все плохо? Что там еще можно поанализировать? На ум приходит только дисперсия на пике нагрузки навроде пикрелейтеда, но и только то. Какую важную статистику я проебываю?
Поясните а перфоманс тестирование. Сложно скрипты писать, если не хочешь идти в автоматизацию из-за обилия кода, который надо писать? Какой входной порог знаний?
Можно заниматься только нагрузочным тестированием и говорить, что все остальное тебя не ебет, а можно идти в сторону performance engineering (инженерия производительности? ну ты понел) - т.е. смотреть на бизнес-требования и аналитику (чтобы понимать, не проебались ли где-нибудь с SLA), на архитектуру и выбор компонентов (если знаешь, что какие-то решения - заведомый пиздец), участвовать в планировании мощностей, помогать с настройкой правильных мониторингов и т.п.
Работы как бы больше, но она разнообразнее, а самое главное - ты начинаешь думать об осмысленности того, что делаешь, а осмысленная работа приятнее. Задача теста (или серии тестов) - ответить на какой-то вопрос, и редко можно ответить на вопрос в терминах бизнес-требований, поэтому надо переформулировать так, чтобы (1) ответить можно было и (2) с минимальными усилиями.
Я считаю правильным не ограничиваться тупо запуском тестов, а лезть в смежные области.
>Лид выкатывает тестовые сценарии и хотелки заказчика типа сколько юзеров эмулируем, сколько юзеров какой сценарий делает, сколько запросов в секунду на пике нагрузки должно быть и т.п.
Как получена эта инфа? Взяты функциональные тесты? "Репрезентативные" сессии пользователей? Тупо посчитан "средний пользователь" по проду? Надо хорошо понимать, как подаваемая в тесте нагрузка соотносится с реальностью. Идеальное воспроизведение прода точно позволяет ответить на вопрос "держим ли нагрузку" но плохо подходит для исследования оптимизаций отдельных запросов/сценариев. Если тебе не насрать - хорошо бы поговорить с менеджером/аналитиками/заказчиком - откуда берутся требования, почему они такие и т.п. Так ты будешь лучше понимать, на какие вопросы на самом деле должен ответить тест.
Ах, да - поговори еще с админами. Если ты хорошо делаешь свою работу - админы должны тебя любить, потому что ты не даешь катить глючное и тормозное говно. Если они этого не понимают - постарайся вежливо объяснить. И обязательно узнай, какие проблемные места с точки зрения производительности они видят (но не разговоры про "все говно", а конкретные вещи - вроде "вот эта база все время перегружена, а вот в другом месте адовы гигабайты гоняются по сети на каждый чих, хотя можно было бы сразу считать нужные агрегаты").
>По этому делу фигачатся скрипты. Ну и значит при тестировании наращивается количество инстансов скриптов до пикового значения о котором договаривались.
См. выше про открытые/закрытые системы. У тебя веб или что-то на него похожее? Предположу, что да, т.к. с толстыми клиентами дела не имел и советовать не могу. Если у тебя потенциально бесконечное число пользователей - более осмысленно подавать нагрузку в запросах в секунду, создавая пользователей с запасом, чтобы выдерживать заданное расписание. Чуваки из бизнеса любят говорить про пользователей, но мы-то понимаем, что это просто поток HTTP запросов, снабженных одной кукой, так что если потенциальный пул пользователей у тебя бесконечный - подавать нагрузку в RPS логичнее - все равно миллион инстансов с вероятностью запроса 0.001 ты делать не будешь. Ну и интерпретировать такие данные проще - легко сделать мониторинг, легко сравнить реальное число запросов с результатом "до 1000 запросов в секунду с соотношением по типам как в проде держим при 99% ответов до 500мс". Если в качестве пользователей у тебя выступают люди, а не роботы - пересчитывать виртуальных в реальных будет сложно.
>в отчет идет среднее арифметическое время ответов и кол-во "юзеров" по времени, когда, сколько и какие возвращались ошибки и на каких операциях. На дисперсию я вообще не смотрю.
Среднее время само по себе - плохой показатель. Требования к системам могут сильно отличаться - где-то это низкая дисперсия для гарантированного времени ответа (и приемлемое среднее не значит, что у тебя не будет половины запросов выходящих за SLA) , где-то достаточный процент быстрых ответов ( и небольшой процент улетающих в небеса не важен, но испортит тебе среднее). Смотреть на среднее + дисперсию и посчитанные через нее доверительные интервалы - ок, но тут надо понимать, как они посчитаны. По нормальному распределению? А кто тебе сказал, что у тебя оно? Скорее что-то ближе к логнормальному, а может быть - вообще хуй пойми что с несколькими модами, и поделить на несколько отдельных ты его осмысленно не можешь.
Вот на пикче неплохо сделано (если подписи не врут) - минимум и максимум + границы квартитей, но я на практике обычно использую набор квантилей из 50% (медиана), 75%, 90%, 95%, 99%, более высокие смотрю, когда важно гарантированное время ответа.
>И железо мы вообще не мониторим, хотя возможность вроде есть. То ли этим одмины занимаются, то ли мы на это хуй положили.
Это напрасно, потому что ты не понимаешь, что именно происходит в это время с системой. Пойди к админам и распроси их, объясни, почему это в их интересах (см. выше), если не хотят делать сами - пусть помогут тебе что-то самому изобразить на коленке. Мониторинг даст тебе понимание, что происходит с системой, в какой ресурс упираетесь, как это меняется при смене настроек/версии софта. Еще можно будет поискать корреляции всплесков времен ответа и утилизации ресурсов, отсюда опять же можно посмотреть наиболее тяжелые запросы и подумать над оптимизацией настроек.
Ограничиваться только системными метриками не стоит, если у вас многокомпонентная система - и она отдает какую-то статистику о себе - постарайся и это тоже собирать. В случаях, когда проблема серьезная а средств диагностики не хватает - не стесняйся пробовать любой отдаленно подходящий инструмент. Мне приходилось скриптом херачить стектрейсы через gdb для отлова некоторых локов.
Естественно, надо следить за балансом усилия/профит - если что-то тебе сделать адово тяжело - лучше поискать другую точку приложения усилий, либо подумать, нельзя ли радикально упростить задачу, оставив 90% профита.
>Что там еще можно поанализировать? На ум приходит только дисперсия на пике нагрузки навроде пикрелейтеда, но и только то. Какую важную статистику я проебываю?
Лучше начать с требований к сервису - не факт, что тебе спустили адекватные сценарии и требования для тестов - постарайся понять, откуда они взялись и почему такие. Когда будешь лучше понимать, какие требования к сервису - будет понятнее, на что обращать внимание.
Я уже говорил, что админы - твои друзья? Повторение лишним не будет, даже если формально они требования не формулируют - обычно они лучше всех знают как себя ведет система в проде, могут выдать тебе какие-то эмпирические правила для определения, когда система ведет себя "не так".
Убедись, что стенд адекватно настроен и достаточно похож на прод. Подумай, как ты можешь обосновать перенос результатов из теста на продакшен, особенно - если надо масштабировать. Смотри на критический ресурс в одном и другом месте (если не совпадает - у тебя должно быть какое-то очень серьезное обоснование почему твои тесты что-то говорят про реальность).
Повторю совет из постов выше про построение кумулятивной функции распределения - тупо по х длительность выполнения запроса, по y - доля завершившихся к этому времени . Можешь еще построить для диапазонов времени ответа долю попавших в диапазон - это считай "функция плотности". По сути там одно и то же, используй что понятнее/удобнее. Такой график позволяет быстро понять форму распределения, увидеть какие-то аномалии, сравнить разные тесты (тут будь осторожен - может быть большая дисперсия результатов между запусками одного и того же теста. Если нет априорной уверенности в стабильности результата - повторяй несколько раз. Если есть - все равно повторяй, потому что на самом деле тут ты ошибаешься).
Анализируй времена ответа вместе с данными мониторингов, смотри на аномалии. Можешь упороться и построить распределения с посекундными квантилями в стиле яндекс-танка https://github.com/yandex/yandex-tank
Убедись, что ты получаешь достаточно устойчивые результаты - осторожно используй рандомизацию запросов, следи, чтобы ты не удалял/не создавал слишком много данных, если их объем важен, старайся делать максимально воспроизводимые тесты, делай по несколько прогонов и сравнивай результаты.
Если полноценные тесты сложные - есть смысл подумать над упрощенными - это позволит быстрее ставить эксперименты (например, на сравнение разных настроек).
==========
Что-то я задолбался писать простыни на двощах, дальше буду более конкретно на вопросы отвечать. Алсо, могу рассказать что-то по скайпику - говорить менее задалбывает
>>425258 Отдельно перформанс тестированием не занимался, но мимо пролетало некоторое кол-во задач - обычно занимались достаточно крутые люди, причем иногда - вообще не тестировщики, а разработчики или админы, которым ПРИПЕКЛО и которые взялись за отлов проблемы.
>Сложно скрипты писать, если не хочешь идти в автоматизацию из-за обилия кода, который надо писать? Кода там может и меньше, чем у автоматизаторов, но задачи будут явно сложнее, чем проверить наличие очередной формочки.
>Какой входной порог знаний? Нужно неплохое понимание используемых в тестируемом софте технологий, ну и владение соответствующим инструментарием. Что может варьироваться от какого-нибудь селениума до написание своих скриптов systemtap или патчей в ядро.
>>425713 Как ты себе представляешь в данном случае "нулевой порог"? Человек с улицы придет и сразу чего-нибудь натестирует? Не умея в программирование, не зная никаких инструментов?
>>430323 Он не об этом говорит, а о том, что во время написания теста да и просто может что-то падать в самом приложении, и знание фронтенда\бекенда и используемых там языков сэкономит тебе время, которое ты вполне можешь потратить, думая, что это твой тест корявый, а не в приложении что-то падает. Утрируя, конечно, спектр применения подобных знаний в разы шире и сразу выходит за макакинг, который сейчас особо нигде и не нужен.
Не знаю, у нас тестеры не имеют доступа к коду. Тем более - к его отладке. Тестер не должен знать, как работает приложение, по этой же причине программисты - плохие тестеры. Это как заставить минёра пройти по им же созданному минному полю.
>>430839 Узколобый какой-то подход, пиздец. Знание кода не повредит ну никак, наоборот, больше информации, возможно больше идей для тестов. Если тестер при этом начинает искать короткие пути - это его личные анальные проблемы.
Алсо я понял, почему чувак сказал джаваскрипт в первую очередь, и согласен с этим и начну это делать, лол. Без знания устройства dom сложно понять ебучие ошибки в "ситуациях гогок", например. "Нинужна" ну это пиздец аматорство, не понимать процессов, которыми нам надо управлять, фейлить из-за этого, но нам ета не нужно
>>429503 Нет, от меня ждут, что я это дело организую и начну делать. Если конечно презентация понравится начальству. Сейчас автоматизации нет на проекте
>>432062 Что тебе еще пояснить, болезный? Я вот не жалею что пошел, а кому-то было бы пиздец, наверное. Конкретизируй, что уже умеешь, чем хочешь заниматься, либо что уже пробовал и понравилось/нет.
>>432063 "Пояснить за" - устойчивое выражение пришедшее из "пацанской" культуры, обычно применяется иронично, но в случае с нашим невероятно сообразительным реквестером - может быть и буквально.
Тестаны, где можно почитать/посмотреть про нагрузочное тестирование, кроме того, что выше кидали? Ну и вообще линканите какие-нибудь ресурсы по тестированию почитать.
>>434854 Десктоп, AAA проекты, заказчики зарубежные, работал на двух внутри одной компании. Особых тулзов нет, автоматизация идёт только на уровне бекенда, и этим занимаются отдельные люди за пределами нашего QA отдела. Я по собственной инициативе занимаюсь тест дизайном, работа с документацией, покрытие тескейсами, вот это все. Начальство довольно, мне хороший опыт в резюме капает.
>>434858 В дерьмаке 3 выдаваемые по сюжету стандартные двимеритовые бомбы заменяют твой набор двимеритовых бомб, я свои улучшал, между прочим. Заводил такое?
>>434854 А, ну и с менеджерами/разработчиками общение происходит в основном устно, так проще и быстрее, зачастую. Процессы достаточно кустарно налажены, чутка наладить стараюсь, но на крупных проектах это неизбежно, насколько я понимаю.
>>434858 Расскажи в общих чертах, как выглядят тесткейсы у вас, кто обычно их делает, какой уровень детализации? Гоняете это все тупо руками? Как проверяете что-нибудь требующее определенного состояния (выполнение длинных квестов, например) - есть эталонный набор сейвов? Ну и вообще интересно узнать, как выглядит некоторый типичный кусок работы.
Фидбек от альфа/бэта тестеров кто обрабатывает? Насколько много от них пользы?
Что за документацию пишешь?
>>434867 Большие у вас команды? Разработка у вас же или другие компании? Часто ли возникают конфликтные ситуации, когда твои баги не признают багами/задают тупые вопросы/откладывают в долгий ящик?
>>434896 Слал резюме во все подряд вакансии, прошёл 2 собеседования и стажировку 3 месяца за гроши. Образования нет, из скилов только бесплатные курсы Порнова, Савин+частично Канер и огромное желание и энтузиазма. За счёт желания и взяли в основном, ну а потом на месте уже нарабатывал скилы, проявлял инициативу.
>>435045 Проект крупные, изменения происходят часто и очень детально покрывать функционал кейсами становится не рентабельно, в основном описаны базовые функциональности и флоу в формате юзкейсов, позволяет минимизировать возможность проебатся перед отправкой. Гоняем толькт руками. Фидбек обрабатывается одним из ПМов, зачастую бесполезен, но бывают редкие исключения. Альфа тестеры полезны, зачастую, как источник статистики по крашам и сбора инфы по ним же. Специфика проекта такова, что в любой нужный стейт игры можно попасть в течении 1-10 минут, так что проблемы сейвов не стоит. Пишу справочную документацию для новых тестеров на проекте и тесткейсы, больше этим никто не занимается, как правило. Команды большие, проекты есть как внутренние, так и для сторонних компаний. Спорных моментов не возникает, как правило, если важные баги игнорят - пушу их через своего Лида/ПМа/геймдиза
>>435433 >1) Как отнесутся на собеседовании если соврать, что фрилансил? Например тестил удаленно какое-либо приложение.
И потом ты такой просто скажешь "да ладно, я вас наебал, чтобы собеседование пройти)))))", да? Лол. Могут спросить что за приложение и как и что ты там тестил, а так опыт это всегда хорошо
Я проходил тестовое задание. Надо было найти баги на присланных мне скриншотах. Скриншоты из РЕАЛЬНО СУЩЕСТВУЮЩЕГО И ВСЕ ЕЩЕ РАБОТАЮЩЕГО ПРИЛОЖЕНИЯ (оно довольно известное). Это можно счесть за фриланс? Хотя бы с натяжкой? Например скажу на собеседовании какие баги я там нашел Все таки делая тестовое, ты же используешь свои знания и навыки. (в любом деле)
>>435515 А как выглядит цикл разработки, кокок аджаил или как-то по-другому? Какой трекер задач используется? Получается, ты игоря у себя локально билдишь для проверки? Как тестируется производительность бетмена нового не вы делали бгг? другой хуй
Я имел в виду код. Т.е. как именно приложение реализует функционал. Уровень абстракции другой. Если тестер видит код, то ему может показаться, что некоторые кейсы не имеет смысла реализовывать.
>>437008 >Надо будет чувакам в Microsoft сказать, что они не правы. И конечно, продукты микрософта отличаются необычайно высокой надежностью, благодаря чему широко распространены в системах управления в авиации, ядерной и космической тенике.
>Я имел в виду код. Т.е. как именно приложение реализует функционал. Уровень абстракции другой. Если тестер видит код, то ему может показаться, что некоторые кейсы не имеет смысла реализовывать. Если у тестера один раз воспроизвелся непонятный баг, то без отладчика и доступа к коду он отдает его, программисты тыкают пару раз, пишут "не воспроизводится" и закрывают нафиг. А если он снимает корку после глюка, находит криво установленную переменную, раскапывает код и видит, что там потенциальный рейс кондишен, который в тесте воспроизвелся один раз потому что флапнула сеть и пишет все это в задачу, уже гораздо меньше шансов, что такой репорт просто так закроют. Да и как воспроизвести проблему уже понятно.
Все правильно задетектили - профан-дегенерат и есть.
Вот поэтому ты и мало зарабатываешь, что очень узколобый.
Мне не нужен QA, который "раскалывает код". На собеседовании даже есть конкретные вопросы - что ты будешь делать, если найдешь ошибку. Твой ответ - кратчайший путь к двери. Более короткий путь - это попытаться исправить баг своими силами. Такой "тестер" не нужен никому.
Тестер должен создать тикет, приложить данные о системе, если речь идет о UI, то видео сессии и всё. Переходим к другому кейсу. Таким образом за день мы можем пройти не 10 кейсов, а многие сотни. И только с таким подходом мы можем автоматизировать тестирование.
Тестер может предположить в чем может быть проблема, но вся исходящая от него информация должна быть на английском, а не на языках программирования.
Ещё один плюс отсутствия доступа к коду - возможность расширения числа тестеров. Я, например, не могу нанять тестера в России, если я дам ему доступ к коду.
Ремарку про Microsoft я не буду комментировать - разговор с идиотом это пустая трата времени.
>>438230 Лол дебик, смотреть в коде это не вайтбокс нихуя, это такое вскрытие черного ящика на пошишечки. Я хуй знает че у микрософта да и не хочется, канер вон рикамендует дебажить тестерам, если есть время.
>>436744 Аджайло-подобное нечто, как-то пытался выяснить точную методологию, но забил хуй ибо смысла не имеет. Джиру юзаем. Локально билжу, да. Производительность тестируют специально отведенные для этого люди, мы разве что статистику предоставляем.
>>436744 А по поводу бетмена - были сливы инфы от тестировщиков на проекте, говорилось что о уебанском перформансе было известно за полгода до релиза, всем было похуй просто ввиду нехватки ресурсов или еще чего.
>>438660 И что же тогда вайтбокс, если не возможность смотреть в код и тз? А вскрытие ЧЯ на полшишечки - это дизассемблер и/или снифф чужого бинаря, который хуй знает как написан, чем собран и что он вообще делает.
>>440022 Вайтбокс в вакууме определяется как процедура проверки кода в текстовом виде, не сбилженной программы. Хорошо, блекбокс с подсказками. Кто-то даже пишет "серый ящик" >>440066 Скорее, обосрамс эффективных менеджеров
>Мне не нужен QA, который "раскалывает код". На собеседовании даже есть конкретные вопросы - что ты будешь делать, если найдешь ошибку. Твой ответ - кратчайший путь к двери. Умерь пыл, маня, мы не на собеседовании. А нанимать ты кого-либо можешь только в своих влажных мечтах
>Таким образом за день мы можем пройти не 10 кейсов, а многие сотни. Максимум идиотизм нанимать толпу макак, чтобы они вручную прокликивали сотни кейсов на каждый билд. Экстенсивное использование ручного труда путь ОТ автоматизации, а не к ней. Человек нужен там, где автоматизация пока лажает, например - в написании новых автотестов, исправлении в них косяков или воспроизведении сложных багов.
Конечно, есть случаи, вроде тестирования сложного GUI, где компы пока сильно отстают от людей, но если где-то необходимы макаки - это не повод заявлять, что других кейсов не бывает.
>>437957 А в америке негров вешают где-то тестировщики пишут юнит-тесты. И где теперь твой бог?
>>440227 >Вайтбокс в вакууме определяется как процедура проверки кода в текстовом виде, не сбилженной программы. Ну это уже какая-то формальная верификация получается. Я при привык к трактовке, что вайтбокс тестирование - это не просто со знанием внутреннего устройства, а построенное на этом знании - те же юнит-тесты. Т.к. на высоком уровне покрыть все возможные состояния обычно нельзя, функциональное тестирование это не отменяет.
Ну и я ратую за грейбокс, да. Иногда надо влезть в потроха системы и лучше если тестировщик это умеет. dive_into_python.jpg, короче
На вопрос: почему вы решили стать QA? Что если ответить честно, мол "Я пришел сюда, потому что тут можно заработать относительно неплохие деньги и мне в целом нравится ИТ сфера".
Думаю в 95% случаев и работодатель и соискатель знают зачем люди идут QA.
Как работодатели обычно относятся к такому честному ответу?
>>443185 Я сказал, что вообще хотел админом идти, но на старом месте немного занимался QA и вроде норм, а в компании, куда шел не было админских вакансий начального/среднего уровня в это время. Взяли, работаю уже 2 года.
Думаю, что в разговоре с эйчаром на такие темы стоит быть осторожным (попадаются ебанутые и в норм компаниях), а вот непосредственному начальнику и коллегам лучше не пиздеть.
Твой ответ вроде норм, но из него не понятно, почему именно QA.
Забыл дописать: Имею ввиду в QA идут потому что порог вхождения относительно остальных профессий в ИТ меньше (не считая техподдержку). Что, если сказать: "Я хочу стать QA, потому что тут невысокий порог вхождения, относительно неплохие деньги и мне в целом нравится ИТ сфера"? Как к такому относятся наниматели?
>>444033 >Я хочу стать QA, потому что тут невысокий порог вхождения
Хуйню сморозишь. Это ты типа такой говоришь "я тупой и не смог в программирование" или "ну мне нужны изи бабки, а тут я вижу что любую макаку берут". Быть честным конечно хорошо, но не стоит такое морозить на собеседовании.
Вы тут москвичи все, что ли? Где найти работу без опыта и профильной вышке в миллионнике? Заебался уже. Отослал в пару мест, в одном на джуна, на другом типа опыт был нужен, не ответили. За стажировку предлагают только совсем копейки даже по меркам моих ебеней (менее 10к), это было б круто, будь мне 18 лет, но сейчас как-то вообще не катит. Сдаётся мне, забью я на тестинг и пойду на дноработу.
>>444774 Нижний Новгород Мне говорили про Меру, но что-то я сомневаюсь, что они возьмут на стажировку нестудента, Интел вот точно не берёт. Про меркую зарплату я в курсе, 14-15к бы хватило, но точно не совсем за еду. Тем более я не хочу чисто ручником, я немного ебаться на жаве и питоне в селениуме могу.
>>444808 Да, хреново быть тобой. Регионы не лучшее место, если ты хочешь в этом направлении развиваться. В наших DC-N автотестеры штучный товар, надо их мало и учить обычно некому. Если есть возможность, хватайся за любое место, через год можно идти в нормальное место на нормальные деньги.
>>444825 Я уже понял. В ДСах, видимо, устроиться тестировщиком даже без опыта за неделю-две реально, по крайней мере такое ощущение у меня уже сложилось. Ладно, поныкаюсь ещё по компаниям, если не найду ничего сносного, то пойду работать куда-нибудь на завод.
>>444033 На начальные должности везде невысокий порог вхождения, самый низкий - саппортов/младших админов, а если начальники не долбоебы - рост по скилам там будет очень быстрый.
Если ты уже работал тестировщиком и тебе норм - другое дело. А если НИОЧЕНЬ - лучше не надо - сам заебешься и коллег заебешь.
>>444869 В ДС-2 вакансий много даже без опыта, висят месяцами, а HR ищут непонятно кого. Первую работу лично мне было сложно найти. Вернее, было сложно попасть на очное собеседование, там уже легче. Искал 5 месяцев, за это время прошёл только 3 очных собеседования.
Воркач, репорчу, говорит. >>407787-кун Таки вкатился на 40к, такая же функционал макака, только чутка могут заставить и тесты писать А я и не против.
Таки въябывание за 15к было полезным довольно, даже уходить не хотелось как то, да и после инфы что я ищу работу, пошли разговоры о моем повышении, но решил уйти, ибо синица в руках лучше чем хуй в жопе
Пока искал произошел довольно забавный случай: Короче сделал ТЗ в одну геймдев контору, пригласили, ночью поддрочил теорию тестирования, немножко по кодингу/автоматизации. Ну мало ли спросят, хоть покажу что не хуй простой, а хоть чутка умею. Так вот, рилейтед вопросов про тестирование было хуй да нихуя, сначала побазарил с ейчаром, потом подошел тех. лид. и вместо рилейтед вопросов давай спрашивать хуйню HR-стайл.
Итог очевиден, мы вам позвоним. Ну я думаю, терять особо нечего, хули, видать чего лишнего спизданул и им не понравился сразу. Не на что особо не надеясь написал им мол:"Что вас смутило на собеседовании". Ну не ответят-хуй с ним, ответят - значит буду знать чего лучше не пиздеть в следующий раз. Ладно бы проигнорили, но ответ - ебать.
Недостаточно крепкие знания по теории тестирования Блядь, чтоб такое утдверждать надо было наверное меня про эту теорию поспрашивать. Ну как это называть то, блядь?
Особо не горит, щас устроился, на норм зп для меня, с годными плюшками для роста, буду дрочить автоматизацию, продвигаться дальше.
Но блядь, вот кого они хотели то? Пиздец просто.
И вообще есть тут господа тестировщики из геймдева, поясните стоило вообще того? Как в геймдеве дела у тестеров не знаю, я в целом со всякой интеграцией всякой разной херни работаю.
>>455303 У геймдева специфическая атмосфера, довольно свободная, но вместе с этим идёт полный пиздец с процессом разработки. Мне нравится, но зарплаты у тестеров ниже чем в софте, например.
>>455303 > И вообще есть тут господа тестировщики из геймдева, поясните стоило вообще того? Как в геймдеве дела у тестеров не знаю, я в целом со всякой интеграцией всякой разной херни работаю. За именно геймдев >>455660 всё верно сказал. Могу ещё за компании, которые сами не разрабатывают, а локализуют, пояснить немного. Так вот, большинство разработчиков ложат хуй на доки и присылают билды тупо с патч-нотами для игроков. То есть по сути ебучий чёрный ящик без нихуя. Можно конечно разрабам писать по каждой непонятной хуите, но наши узкоплёночные пидарасы всё время отвечали односложно "баг/небаг" и всё. При этом, казалось бы, что там тестировать, всё давно протестировано на других локализациях. Но нет блядь, эти узкоглазые пидорасы умудряются ещё и билды кривые делать. Например в одном они проебали текстуру для огромной горы в одной из ключевых локаций, полно было опечаток в квестах/скиллах, пару раз они вообще забывали обновить файлы локализаций и прочее говно.
>>457849 Работал, но не нагрузочником, в целом, сказал верно. Платят - хуй да нихуя. Ну если ты с 0 идешь. Если опыт уже есть - могут предложить нормально(не много, но конкурентоспособно, так сказать по условиям рынка).
Сам въебывал у них за еду 4 месяца, теперь получаю 3.5 мои перфомансовские зарплаты. Что не радовать не может. В тестировании был хуй простой. Много чего понабрался. Начальство довольно адекватное(но говорят это к кому попадешь), с деньгами не наябывали, народ там трется разумный, попасть к ним легко. Ничего особо плохого сказать про перф не могу. Кроме величины их зарплат.
Если готов натурально за еду въебывать опыта ради - your welcome.
Вопросы для гуру QAАноним08/02/16 Пнд 00:50:29#327№460119
1. Что нужно знать по компьютерным сетям (клиент-сервер, децентрализованная)? 2. В чем особенности тестирования web на Android, iOS? 2.1. Как вы тестируете под мобильные платформы - только на свежих версиях или на всех? Работаете с Genymotion, Bluestacks? Есть ли подобный эмулятор для iOS? 3. Что понимаете под performance testing? 4. Приведите простой пример smoke тестов. 5. Какая система bug-tracking наиболее удобна? 6. Поясните за CMS Wordpress и какие его знания нужны тестировщику? 7. Работаете ли с GIT и Jenkins?
Сап антуаны, фронтендер кун итт. На работе поставили задачу переквалифицироваться на время и за 6 месяцев написать и писать какие-то BDD автоматические тесты на кукумбере https://cucumber.io/docs/reference/javascript. Какие подводные камни? С чего начинать? Я так понимаю писать автотесты на js адЪ и ИзраилЪ?Какие профиты от этих навыков можно заиметь в будущем?
>>461631 Я как-то был в одной конторе из четырех букв на собеседовании. Был ебаный цирк в стиле СКОЛЬКО ДОЩЕЧЕК МОЖНО УМЕСТИТЬ НА ШАХМАТНОЙ ДОСКЕ СУКА?! СКОЛЬКО ДОЩЕЧЕК СКОТИНА БЛЯДЬ?! @ МЫ ВАМ ПЕРЕЗВОНИМ
>>460119 Эх, браток, по сетям в принципе ничего не надо, но не помешает. Мобильные - как в компании принято, так и тестировать будешь. Из конкретных тулов стоит учить специально только гит, на всякие смс, сравнения багтрекинг и прочее не теряй времени, если точно не планируешь работать с этим.
>>460659 Писал такие на сишарпе. На js тока видел. Ну, потренируйся там, посмотри тестовые фраемворки, я слышал о jasmine, напиши простой тест. Потом, собственно, придумай сами тесты в given when then, типа логин успешный, логин проваленный, функции там на страницах если есть, сортировки всякие и тому подобное. Не знаю, как с ооп в js, если можешь, лучше для каждой страницы завести файлик с методами доступа к элементам, чтобы редактировать локаторы из одного места.
>>460659 6 месяцев это дохера, я за день изучил базовую и накатал пару "тестовых тестов" для нашей приложухи. Писал на шарпе, камней особых не было, разве что стоит серьёзно определиться с синтаксисом и стилем описания сценариев, этот ебучий хуман-френдли на самом деле только вредит, когда пытаешься вспомнить как ты там писал и формулировал конкретный шаг. Контекстная подсветка конечно есть, но всё же раздражает. Начни с создания фреймворка для базовых шагов твоей софтины вроде логина\поиска\т.д. Потом по ним накидай сценариев и поехало.
>>460119 1. Обычно не требуется от тестировщиков, но хорошо было бы знать, как устанавливается и как рвется tcp соединение, в идеале - умение полностью воспроизвести всю диаграмму состояний tcp сокета и рассказать про все переходы, но задрачивать если у тебя нет необходимости по работе вряд ли стоит. Еще может пригодиться знание как проивходит TLS хендшейк, но опять-таки зубрить все наизусть смысла не вижу.
Развираться со всякой маршрутизаций и т.п. обычному тестировщику вряд ли придется.
Про PtP я очень мало что слышал, думаю, в среднем это крайне непопулярная штука.
2. Android/iOS мало занимался, основной болью были девайсы, особенно андроиды со 100500 разных глючных прошивок, перекатился в чистые веб и не жалею.
3. Выше немного рассказано про нагрузочное, но performance, конечно, шире. Толком этим не занимался, только на уровне поисков внезапных тормозов при загрузке страниц, благо в браузерах инструменты неплохие и туториалов базового уровня хватает.
4. Открыть сайт, перейти на основные разделы. Если не открывается или верстку распидорасило - нахуй с пляжа. Очевидно же - смоук - чтобы быстро проверить минимальную работоспособность.
6. Подозреваю, что у тех, кто пользуется вордпрессом нет денег на QA.
7. И с тем и с тем. Дженкинс та еще параша, но приспособиться можно. Пользы от нормально настроенного CI сервера много, какой-нибудь и них точно стоит освоить. Аналогично с гитом - нужно уметь пользоваться VCS, гит - один из самых популярных.
>>463913 Вообще в плане браузерных тестов, автоматизации черного ящика тестирования, скорее, лютый порожняк накидают прогромисты с подходом к тестам как к продукту, который должен быть зеленым любой ценой. Там может быть пяток рваных непоследовательных слоев, включение по апи, когда не надо, использование объектов самого приложения вместо взаимодействия с интерфейсом, и тому подобное. Тестировщик так не будет писать, он не знает, как выебываться, и не хочет без необходимости
>>465404 То, что другой чувак сказал. Page object еще нужно посмотреть, это модель-рекомендация для кода тестов. >>465465 Стажировки, я от вуза шел правда
>>467247 только я на 4+ . Да, немногомного проебался. Решил, что вкатиться в тестирование вполне себе план, да и питон более-менее знаю он вроде котируется тут.
>>467291 ну на джаве у меня есть проектдико маленький, на андроид, чуть круче хэлоуворлда, а вот про руби/шарп в тесках не слышал. Разве что видел примеры селениума на шарпе
В любом случае, посмотрел вакансии без опыта, и в основном вижу SQL + теория тестирования. может и в глаза долблюсь, но что-то мне подсказывает что все далеко не так просто
>>467315 >>467291 Вообще, я сейчас пошел на HH и откликнулся на несколько рандомных вакансий, посмотрю что из этого выйдет. Заебало без работы сидеть хотя и без неё дел дохуя
>>468701 Реально, в районе 10-15, не более Просто проверяешь каждую заявленную функцию и противоположное ей условие, типа файл .майпрог появляется на сервере, файл .майпрогхуег не появляется, время там поставить на ебанутое (ожидаемый результат сам придумай, например, сервер должен хавать от первого до 9999 года), с размером файла понятно, можешь еще пару кейсов написать мол несколько файлов создали одновременно, файлы создали на клиенте а инторнета не было, когда включили, отправились все по очереди, инторнет отключили при передаче, включили файл отправился
>>468843 Спасибо, бро. Придал уверенности, просто делал уже кучу тестовых заданий и везде слали нахуй, руки опускаются. Сегодня займусь и отпишусь по результату.
>>468701 >сколько Столько, сколько обеспечат достаточное покрытие >при необходимости можно сделать уточняющий вопрос Хотя тебе уже ничего не поможет, раз вопрос начат со "сколько", почему бы грузчиком не пойти работать? Там вполне себе дают конкретные ответы, сколько мешков за день таскать, думать не требуется.
Сегодня на собеседование пойду. Что вы отвечаете когда спрашивают, нахуя вам такое нудное занятие как тестирование ?слишком честно отвечать - не вариант
>>470661 >единственный честный ответ. так их никто и не ждет, лол. Все знаю зачем идут в тестирование. кроме случаев, когда мама заставила в 25 лет найти себе работу, но это, слава богу, не мой случай это как вопрос "что вы знаете о компании ?", при чем его задают даже эникейщикам/уборщицам/небу/аллаху
>>470658 кстати, разрабом чего ? Я так-то могу в программирование на каком-нибудь питоне, просто тут сложнее работу найти и стажеров не берут, даже джунов оче редко.
>>470669 Я довольно много знал о инструментах и подходах команды, в которую иду, потому что они как раз перед моим приходом активизировали технопиар и я почитал их статьи, так что здесь ты промахнулся.
Ну и вообще, те кто идет в крупные/известные компании обычно про них что-то знают, когда такое ООО Рога-и-Копыта спрашивают, да, пиздец.
>>473194 1) По мне не слишком стрессовая, но это сильно зависит от тех, с кем работаешь. Бывают менеджеры, у которых стиль работы в постоянных авралах. Или разрабы-социопаты, которые чуть ли не матом в тикетах шлют. Но я с такими почти не пересекаюсь, к счастью.
Главный источник стрессов у меня - это собственные проебы :(
2) Вообще не капает, мировой мужик, базарим как друзья регулярно.
3) Соцсети, новости - скроллю немного каждый день, но стараюсь не увлекаться. Всякие около-айти вещи - типа статьи на околопрофессиональные темы, он-лайн курсы - иногда бывает, когда ничего не горит и задачи делать влом.
Чем конкретно я занят никто не палит, но результат спрашивают. Так что если бы я мог все автоматизировать на год вперед - можно было бы двачевать каптчу пока не надоест.
>>473778 >здесь ты промахнулся я не отрицал же, что стоит подготовиться и почитать о компании перед собесом, однако, зачем знать какому-нибудь настройщику принтеров что компания выпускает особо крепкие винтики для корпоративных серверов, я не совсем понимаю.
>>474816 В компании, где я работаю (палить не буду) относятся нормально. К слову, 22 года - вполне стандартный возраст для студента, который только-только закончил вышку и ищет работу.
>>474816 Недавно компания в которой я работаю набирала новых сотрудников(Junior QA). Набрали студенток из местного тех.вуза примерно 93-94 года рождения.
Раз уж тут начали говорить про Junior QA, вкачусь с вопросом. Как "замутить" с обычной ручной тестировщицей примерно своего возраста(20-23 lvl)? Хочу с кем-нибудь сходить на каток, в кафе и тд. Если важно, сам занимаюсь автоматизацией тестирования. Безработные студентки почему-то меня не привлекают, хочу тяночку хоть немного связанную с разработкой ПО.
>>473194 >1) На сколько стрессовая у вас работа? Волнуюсь в основном из-за собственных косяков. Например, если проебал результаты 3-х часового труда и надо всё переделывать.
>2) Часто ли капают на мозг начальство? Начальство не напрягает. Живительные пиздюли получаю только за дело. Например, если ты спишешь 3 часа в багтрекере на простейшую 15 минутную задачку, то у тебя спросят "Что это такое?".
>3) Бывает ли так, что вы занимаетесь на работе посторонними вещами (соцсети и пр)? И как часто? В компании где я работаю время фиксируется в багах/тасках в багтрекере. т.к. я не могу списывать часы на хуйню, времени на соц.сети почти нет(разве что пока "оно компилируется").
>>476530 Я через третьи руки от кодера слышал, что у них там ебанизм полный. Но кодеры ваще склонны ныть, да и это блядь через третьи руки же. Но СберТех место тёплое так-то.
>>473194 1. Сначала был околонулевой, потом я с дурости начал проявлять инициативу и сейчас по любому уточнению\фидбеку заказчику дергают меня, естественно, з.п. за это не выросла. Одно дело буднично спросить у хикк-погромистов чего они там очередного наговнокодили в фиксе, другое - срочно бегать и дёргать всех, чтобы пофиксили критикал, что да, нужно бросать текущую задачу и ФИКСИТЬ БЛЯДЬ ПРОДАКШН БАЗА УПАЛА МИЛЛИАРДНЫЙ ОБОРОТ УЕЗЖАЕТ АЛЛО. ПМ радостно насвистывает и хвалит, какой я молодец. 2) Вообще крайне редко иногда говенное настроение бывает у всех и могут минут 5 порассказывать, что я неправильно что-то делаю, что делалось уже сотню раз и ими же по их же схеме, которой я следую. Но это всё в предельно корректной форме, просто с подтекстом "я доебываюсь". Первые раз 5 напрягало, потом просто поддакивать стал и вообще не напрягает. Да и жизнь у них наладилась что ли, раза 2 за последний год такое было. И да, я отличаю придирки по делу и придирки "я решил доебаться". 3) В принципе есть таск и таймтрекинг, но никто не мешает проебланить дополнительный часок к 2-часовой задаче, хотя я это особо не абузю, только в дни лютой прокрастинации.
>>470661 Для тебя единственный, у меня была абсолютно адекватная причина и истинная, по сути сильвербуллет, взяли почти сразу после того, как я мотив свой высказал, задав для приличия пару вопросов по тестированию. И нет, мамин погромист, в тестировщики идут не те, кто не смог в говнокод, это обычное заблуждение зашореного быдла пробившегося в погромисты, таких ПМы быстро на место ставят, либо выкидывают из нормальных контор.
>>476993 поведуй же причину. Я серьезно спрашиваю, не вижу ничего плохого в профессии, но иду в основном потому стажировку проще найти чем на кодера. Знаю чувака который пару лет как тестировщик и сам говорит, что пошел только из-за того в код не может.
Без образования сложно работать? Я слабо представляю что такое алгоритмы и структуры данных, но Савина читаю, Питончик учу. Как вообще в компаниях к таким кадрам относятся?
>>477351 Не менее серьезно ответил. >>477368 Как к мудачкам, разумеется, но такие тоже нужны, плотить будут. Фундаментальных знаний у тебя уже не будет, только слепленная мешанина из случайных урывков.
Ананасы, поясните за английский для тестировщика. Я знаю на уровне восприятия на слух, сериалы там посмотреть могу, хотя в основном в игори на ингрише играю, но вот написать это беда ибо никогда письменный не использовал. Тест в интернете проходил- пре-интермедиате мне написало на экран.
>>479787 Да я хуй знает, просто во всех вакансиях прям английский на хорошем уровне или все. Есть ли смысл идти на курсы? Я ищу щас чтоб после курсов с трудоустройством помогли или типа того, сижув дс рб и тут либо с опытом от года нужны тестировщики, либо без опыта но с профильной вышкой, желательно на отработку. Немного умею верстать, там стилус, бутстрап и прочая хуйня, хз, может пригодится в тестировании, может нет.
Тестеры, расскажите, как вы тестируете что-либо? Понятно, что тестирование это комплексный процесс, но есть же определенные порядок тестирования, которого вы придерживаетесь?
Например надо протестировать какой-нибудь сайт или десктопное приложение. С чего вы начинаете? Полагаю, сначала идет планирование и написание тест-кейсов. Потом само тестирование. Так вот: что вы тестируете сначала, а что потом?
В общем опишите пожалуйста максимально подробно, в каком порядке вы тестируете.
P.S. Тематические книги читаю, просто хочу услышать практиков этого дела.
>>480452 Тест-кейсы, если надо было, всегда писал после тестирования. По ходу дела обязательно всплывет что-нибудь неожиданное, и все полетит на помойку. В лучшем случае чек-листы.
Про то как тестировать... Допустим, у нас типа интернет-магазин. - Читаешь тз/постановку задачи, если раньше этого не делал, пытаешься найти несостыковки и белые пятна в логике. - Прогоняешь по основному пути выполнения, смотришь основные сценарии, представляешь себя пользователем. Типа залогинился, купил товар, то-сё. - Быстро просмотриваешь все формы/страницы, что все корректно собралось, никакие стили не слетели, 500 не сыплет (если мы про сайт). - Проверяешь, что реализовано всё, что написано в ТЗ (если оно есть). - Разбиваешь на изолированные части: фронтенд-бекенд, отдельные микросервисы, какая-то независимая логика). Например, сайт смотрит в сервис, который отдает ему набор товаров. Соответственно, формирование этого набора - одна часть, а отображение на сайте - другая. - Каждую часть разбиваешь на бизнес-фичи (например, корзина товара. Или процедура покупки товара в целом). Ну и тестишь каждую в отдельности, уже пытаясь найти баги - Смотришь в целом на взаимодействие отдельных кусков, все ли варианты проработаны. Удобно рисовать что-то вроде направленного графа, либо таблицы бизнес логики, короче если теорию топчешь, должен знать.
А вообще, никто джуниору не даст задание вида "протестируй сайт", даже в виде лулза на собеседовании. Ясное дело, что ничего хорошего он не родит, так что первое время всё равно будешь проверять охуительные задачи вида "поменять цвет ссылки".
>>480243 >во всех вакансиях прям английский на хорошем уровне или все Везде требуют хороший английский, чтобы отсеить сомневающихся или совсем днище, а так у тебя на собеседовании могут спросить что-нибудь на английском и если там нормально сможешь отвечать, то все хорошо. А дальше будет видно, ну и в принципе подтянешь, если захочешь.
>сижув дс рб В гродненском епаме половина тестировщиков вообще выше А2 не имеет.
Вкачусь пожалуй. В пятницу уволился из конторы под названием Акронис, что в DC. Начинал там джуном без опыта 4 года назад. Устраивался на з/п 27к. Уволился уже с з/п 85к. обычным тестером мразь ручник Сейчас ушел в контору на должность сеньера на зп 130 и с перспективой после испыталова стать лидом и набирать свою команду. Могу поотвечать на вопросы.
>>482393 В банках, там норм платят. В филиалах типа яндекса вроде тоже норм. Товарищ работал в VEEM, при том что неплохой автоматер получал что-то около 45.
Блять, я знаю что идти в тестеры а потом перекатываться в девелоперы - плохая идея. Но оставив вопрос деформации, ибо на джена деввелопера сейчас сложнее найти, чем на тестера, то получится же нехилое проседание зарплаты первые пару лет. Меня это сильно беспокоит анон. Если начать работать тестером, и, возможно, начать получать что-то адекватное, а потом перекатывать в джуны/стажеры другой специальности - можно сильно проебаться.
>>482422 Необязательно. Если не ручником идти, можно в штат разработчиков попроситься в ту же фирму и без потери в зарплате. Если проявлять инициативу и учиться, то всё получится, я уверен.
>>482449 Нагрузчиком тоже норм, должен по TCP/IP и SQL подтянуться. Если возьмут, кодируй личные проекты в свободное время, через год просись в разработчики.
>>482483 У меня было задание протестировать банкомат, при том что я собеседовался на ручника и опыта никакого не имел. Пиздец, одно из самых напряжных собеседований, что я помню. Напротив меня сидели 4 типа и каждый по очереди задавал вопросы. Тупил, потел, охуевал. В конце ещё сказал жава-программисту, что мне не нравится жава, лол.
Меня туда, конечно, не взяли, но через пару дней мне предложили должность веб-макаки, куда я успешно и ушёл.
Я в интернете вижу, что в тестирование пошло реально ДОХУИЩА людей, больше, чем в СССР инженеров было, но в то же время друзяшки пишут, что у них там дефицит норм челиков. Где правда?
>>483158 слух ходит, что там дохуя течет. Многие сраху планируют перекоты. Даже у меня есть знакомый, который сейчас 50к зарабатывает, а с премий так вообще +30(и больше) и тоже говорит, что как возможность появится съебет с тестирования, хотя сильно не жалуется.
>>483716 позвали, вот и поехал. тещу приложухи под винфон >>483719 за инет плачу 30 евро в месяц за телефон — 20 так-то дороговато, в столовке обед - от 5 евро. но жить можно, тепло, море, апельсины
>>482386 Расскажи, как стать тестировщиком. Шутка. Хотя нет, не шутка. Что ты знал, когда устраивался на первую работу? До этого в ИТ работал? Вышку имел? Что входило в обязанности на первых порах?
>>484092 Да ничего толком и не знал, работал эникеем то там то там. Потом товарищ, который кодером работал, говорит - иди в тестеры, типа у нас на работе их много нихуя не делают, работать проще чем админом и т.п. Ну я и пошел к нему. В резюме, припиздел конечно прилично но взяли. Контора была БанкСофт Систем, писали софт для банков. Вкратце, у тебя 2 компа, на одном клиент, на другом сервер, ну и ты тестишь платежки, как посывается бики хуики инн. Тоска смертная, ну и коллектив каких-то олигофренов, комната на 10 человек, все молчат, молча, как по команде, идут на обед. И также ровно в 6 валят домой. В общем через месяц меня оттуда выпиздели, сказали типа курить часто ходишь лол и все время с кем-то общаешься, надо самому разбираться. Ну я и рад даже был. Побухал месяц и попиздил в акронис. На собеседовании доже припиздел, дали тест какой-то и ушли, я быстренько все загуглил и норм. ТАм был упор на жесткие диски, ад, сети и т.п. А с этим у меня более менее норм. Ну еще плюсом, думаю, было то, что люди меня собеседовавшие уже увольнялись через несколько дней, и думаю что им похуй было кого взять. Ну я еще пришел с бодуна и под баклосаном лол. Кстати с ними до сих пор нормально общаемся, они в дойчебанке работают и заебись там получают. Ну вот так и втянулся, поначалу тяжело было, дохуя нового все на английском, какая-то мерзкая баба, которая стучала на меня, и доебывась по любой хуйне. Потом ее перевели и мне норм стало. Ну потом и втянулся. Как-то так.
>>484092 Вышки не было, понаехал в дц после армии в 20 лет из зажопинска. Среднее техническое было. На первых порах руками разворачивал конфиги, и монотонно проходил кейсы руками. Баги заводил. Все руками в основном. Потом тест-дезигн, питон, дженкинс, селениум, веб приложения понеслась. А вышку заочно в том году оформил уже.
>>484177 Менеджер, лол бакалавр, "Менеджмент организации", топ ВУЗ ДС Работаю 2 года, мне норм, вокруг большинство людей с около-технической вышкой, конечно.
>>484170 > Тоска смертная > коллектив каких-то олигофренов > все молчат Социобыдло как есть. Пиздос. >>484181 Закончил такую специальность и даже не прогромист? Найс.
>>485302 В вузике айти было в очень прикладном ключе, из классики только фортран на первом курсе, когда основы программирования давали. А так использовали всякие приблуды для численных методов и обработки результатов экспериментов типа матлаба с языком искаропки. Да и вообще вся программа обучения не позволяла серьёзно углубиться в какую-то айтишную тему: тут немножко субд, тут ассемблер, тут сети, тут распознавание образов в интеллектуальных системах. Я как бы вроде много чего знаю, но на самом деле нихуя. И это печально, я боюсь что-то серьёзное писать в резюме, потому что сяду в лужу, если знающий человек будет интервьюировать.
>>486412 Да в вузе никто по программе не углубляется, но серьезная специальность это индикатор умения разбираться в лютейшей хуйне, в том числе прогррмировании по желанию
>>480452 1. После постановки CR по релизу делаем WBS и оценку трудозатрат 2. Начинаем писать тест-дизайн (детализация на этом этапе как правило не финальная). 3. Оформляем матрицу коннективностей и заказываем по необходимости нужные хосты и связи. 4. Пилим моки и автотесты для тех областей где это нужно. 5. Проводим инспекцию документации 6. После завершения предыдущих пунктов начинаем тестирование, количество и содержание прогонов четко определено и обосновано. 7. После завершения тестирования пишеться паспорт качества, сборка передается на приемо-сдаточные испытания со всей сопутствующей документацией 8. Если на проде находятся дефекты - по ним делается анализ. 9. К этому моменту тест-дизайн обычно полностью завершен, кейсы актуализированы, информация в базе знаний содержит все необходимое. 10. Приступаем к работе по новому релизу. Это общие шаги для нашего отдела QA, я тут не разделяю например НТ и ФТ или автоматизацию.
Тестировщики, как у вас с фрилансом? Насколько я понял, то ваша работа больше подходит для контор? Пока думаю стоит ли вкатываться в QA через курсы неткрекера?
>>489868 Сомнительно там с фрилансом. Тебе же надо выдавать предрелизные сборки, они могут представлять определённую ценность, тебе такое никто не отправит. Но можно устроится удаленно на фултайм.
>>490056 Почему? Это же ебать трудная работа. Не сложная в принципе, но трудная. >>490057 Бля, у нас тестировщица очень красивая и хорошо сохраняется, если я был бы ей то жахался со всеми мужиками
>>490065 Иди кодить, ты че баба или даун? Нахуй тебе тестирование? Что может быть интересного в работе, покликать на галочке на форме? Чему фирмы с интернатами для "особенных" детей контракты не заключают, не понимаю.
>>490066 Мне, например, 28 и мне чет как-то трудно учится программированию, все вроде просто, но быстро забывается, может с тестированием палехче будет.
>>490066 Понимаешь, то, что именно покликать, должен кто-то придумать, и угадай, кто это делает. А если это не форма, а какой-нибудь сборный отчет с тремя видами вывода? Так что не надо толстить )). Хотя, конечно, это не кодирование, да. Но кодером я был бы средним от силы, а тестер уже старший при всей некомпетентности, лал
>>490152 Лолд, если бы, она ж еще ищет, как оно не должно работать. Это продумать сценарии, классы эквивалентости, границы, если есть, короче, нужно построить мысленную модель тестируемой части програмки. Меня прикалывает твой акцент на феминизации, кстати
>>490271 Чтобы глаз радовался и своей няшностью налаживали коммуникации с кодерами.
А в программировании это лишнее, там надо клац-клац-клац. Да и хороших тянок-погромистов я что-то по своему опыту не припоминаю. Максимум верстаки да фронтендерши.
>>490274 >хороших тянок-погромистов я что-то по своему опыту не припоминаю У нас есть. Пишут на пайтоне получше некоторых мужиков и при этом не то что симпотные, а красивые.
>>490268 Феминизация это когда девушки идут в мужские профессии, а тестирование это изначально область которую завели специально чтоб брать девушек в фирму. Там где нормальные кодеры и тестеры не нужны.
>>490488 Да ну, не нужны в банках или в медицинских приложениях тестеры? Тестеры не нужны на массовом рынке, когда нормальные кодеры быстро делают что-то вроде хуиттора и срубают много бабла
>>490838 Много кодеров заняты в банковском секторе или медицине? Да и опять же, там скорее всего тестеры это по сути кодеры которые пишут юнит тесты, то есть те же кодеры.
>>482386 Расскажи про использование .NET(C#, PowerShell) в акронисе. Можно ли с одним дотнетом вкатиться в компанию на позицию автоматизатора/разработчика?
Слыште а как продебажить джаваскрипт на странице, типа появляется индикатор загрузки, быстро исчезает, а я хочу остановить мир, когда энтот индикатор на экране. Как найти тот самый скрипт и поставит там точку останова?
>>493774 А причем здесь пол? Не девушка. Тестером можно понять как работает айти, цикл производства, методологию и т.д., а потом прокачаться до аналитика. Просто я совсем зеленый, только заканчиваю свой вуз. А какая специфика профессии анал.итика?
>>493784 Маня, как ты заебал своими профанскими фантазиями из треда в треда, опять в жопу выебали за то, что ты проебал 4 раза подряд один и тот же баг, что тебе подробно описали? >>493798 Не слушай этого кретиноида из конторы-однодневки, в лучшем случае, не имеющего к профессии хоть какого-то реального отношения. Мужчин овердохуя, как и требований к знаниям на уровне мидла-программера, со стеком из 3-4 языков.
>>493893 >Не слушай этого кретиноида из конторы-однодневки, в лучшем случае, не имеющего к профессии хоть какого-то реального отношения. Мужчин овердохуя, как и требований к знаниям на уровне мидла-программера, со стеком из 3-4 языков. Если знаешь 3-4 языка, зачем идти тестировщицей, когда можно устроиться кодером и получать в два раза выше?
>>494019 Проигрываю, как можно кукарекать из Тольятти что-то про тестирование. Успокойся, у вас там тестировщиков нет, ни мужчин, ни женщин. Поработай в нормальной конторе, тогда и поговорим. Алсо скрин с количеством вакансий.
Аноны, такое дело. Хочу попробовать вкатиться в тестирование. Одна фирма набирает тестировщиков с предварительным обучением. Требования: базовые знания в сфере сетевых технологий, баз данных, а также знание основ программирования. Так вот, что конкретно нужно выучить под эти требования?
Алсо, кто знаком с фирмой EPAM (особенно с минским филиалом), какие подводные камни?
>>494240 Не пизди, у тебя явно фотошоп на скрине. Я из дс2, а тольятти на скрине, потому что предварительно помогал искать работу тётке, которая от туда. Кстати твое отношение к провинциям, тоже показывает твою внутреннюю агрессию, оно и понятно, в глубине души то ты знаешь, что твоя профессия женская, надо как то компенсировать))
>>494265 >Требования: базовые знания в сфере сетевых технологий, баз данных, а также знание основ программирования. >Так вот, что конкретно нужно выучить под эти требования? Ничего не надо учить, если понимаешь принципы работы веб-сервисов лол. По базам хватит знаний, что такое SQL и как в нем запросы писать. Про основы программирования можешь про ООП почитать, если на каком-нибудь питоне скрипт напишешь, то вообще охуенным будешь.
>кто знаком с фирмой EPAM (особенно с минским филиалом), какие подводные камни? Работаю в гродненском филиале, лучшее место в белорашке для старта, всему научат, а потом перекатывайся куда хочешь.
>>490490 А в том, что если изначально структуру тестов не продумаешь, то потом заебешься это поддерживать. Это ж пиздец когда у тебя с каждым изменением в приложении может какая-нибудь хуйня в тестах да наебнется. А если трудозатраты больше чем у ручников ты нахуй не нужен. А комьюнити у автоматизаторов уж всяко поменьше чем у кодеров, а проекты все разные и универсальных петтернов нет нихуя. Хуйню-то наговнюкать это конечно чего сложного.
>>496257 Кстати, ты не знаешь, меня могут взять, если я гражданин Украины (но есть статус доп. защиты, т.е. разрешение на работу на меня оформлять не нужно) и гуманитарный вуз я закончил почти 7 лет назад (в этом году 29 лвл апну)? Тот же кун
>>498060 По идее никаких проблем быть не должно с устройством. На образование и возраст по большому счету все равно, если ты хорошо себя заявишь на собеседовании/стажировке, могут быть какие-нибудь заебы у менеджера. К нам недавно устроился тестировщиком психолог по образованию 27 лвл.
>>504297 Предполагается, что после стажировки он останется работать, например, на год, чтобы нормально научиться писать всякую документацию и вообще опыт получать, потому что в других контора просто спросят за опыт работы и мы вам перезвоним.
>>503388 Есть, но я так проводил, фейково. В прошлом тренде вроде был более или менее фундаментальный ананыч, много расписывал, но я не спросил его про тулы бля. Суть всегда одна, измеряй много, смотри на несколько показателей, смотри метрики сервера, но вот каким раком это делать в том же jmeter, я хуй знает
>>504628 нагрузку в jmeter я сгенерировал, но не могу проанализировать результаты. Не совсем понятно, на какие метрики обратить внимание, как их преподнести и т.д.
>>503388 >>505373 Что у тебя за сервис, как генерировал нагрузку (пытался воспроизвести реальные сценарии/синтетическими сценариями/просто фигачил запросами из логов без сценариев), какие требования (число запросов, времена ответа и т.п.)? Какой ответ от тебя ждут? Вердикт катим/переписываем нахуй или надо разобраться с тем, что тормозит и почему?
Выше по треду немного расписано, начать можешь, например, с >>403188
>>505756 сервис довольно простой- форма(на ней много js и чутка css), в которую человек вводит некоторые данные и сохраняет в базу. Сценарий записал реальный, требований нет(понимаю, что это не есть хорошо, но тим лид не может их сформулировать пока что, так что буду брать примерные цифры). Что от меня ждут - соотношение времени полной загрузки формы к количеству юзеров, максимально допустимое количество юзеров на сервере, узкие места(ботл неки) на сервере. По треду почитаю, спасибо
>>506004 Ну, смотри: статику jmeter не особо осмысленно тестировать, в любом случае в сценарий мало смысла ее добавлять, потому что он не браузер и грузит все однопоточно. Единственное, для чего имеет смысл ее подергать - это проверить настройки веб-сервера, лучше делать это отдельно от тестирования собственно приложения.
Про юзеров - плохой вопрос, см. выше по треду про открытую/закрытую систему. У юзера есть такой параметр, как время ожидания - живой человек вряд ли будет непрерывно жать F5 на странице - предполагается, что он что-то читает/заполняет там и это требует времени (разного для разных юзеров). Если у тебя закрытая система (e.g. интранет страница куда ходят 10 человек), то можешь взять минимально реалистичное время ожидания (пару секунд, например, зависит от того, что пользователь делает на странице). Если открытая - лучше считать нагрузку в запросах в секунду (RPS).
Если нет требований по пропускной способности - то гоняй тесты до разладки - сможешь сказать сколько максимум можно выжать, а там пусть тимлид думает достаточно ли этого. По временам ответа требования наверняка есть, просто они могут не бять явно сформулированы, но ждать загрузки минуту точно никто не захочет, так что можешь просто спросить про максимально приемлемое время ответа и следить, чтобы 99.9 квантиль за него не выходил.
Про узкие места - займись мониторингом - как минимум смотри на все ресурсы системы, если приложение что-то интересное пишет в лог (например, время выполнения запросов в БД) - это тоже стоит анализировать.
>>506314 Статику я уже исключил. По поводу времени думал тоже, но пока не реализовал. Нормально будет после нужных запросов просто таймеры поставить? По поводу разладки - я так и делал, просто точное число юзеров получить не удается - варьируется постоянно. Как я понимаю, точка насыщения/разладка наступает в тот момент, когда пропускная способность падает, а среднее время отклика растет? И про узкие места - можно просто мониторить performance на сервере средствами винды? >>507070 Мне советовали этот сервис https://sense.blazemeter.com/features/ Сам пока только мельком ознакомился, но выглядит неплохо вроде
>>507070 У нас для хранения и анализа результатов тестов внутренняя тулза используется.
Loadosophia, которую советует >>507185 ок, но, говорят, они сейчас сильно порезали лимиты для халявного использования.
Собственно, можно просто взять тулзу, которая умеет строить сразу какие-то осмысленные репорты. От того же блейзметра есть таурус (видел его издалека), у него хороший онлайн, а вот оффлайн репортов хороших, как я понял, из коробки нет http://gettaurus.org/docs/Reporting/
Можешь попробовать Yandex.tank (jmeter из него тоже можно запускать) вот с этим плагином https://github.com/yandex-load/yatank-online - он умеет сохранять html с интерактивными графиками после завершения теста. Еще можно настроить заливку в в графит или influxdb - говорят, работает, но я этим не пользовался.
Ну и всегда есть вариант взять сделать руками - взять, например, python (numpy, pandas, matplotlib) и вперед.
По поводу таймеров - подобрать реальные задержки для пользователей будет очень сложно - для любых пользовательских действий следует ожидать конской дисперсии: кто-то прокликал весь сайт за 10 сек, а кто-то открыл форму и пошел пить чай, как ты их будешь усреднять? И даже если собрать честные сессии с задержками из логов - большая дисперсия будет тебе портить жизнь при анализе, потому что число выполняющихся запросов будет сильно варьироваться (если у тебя этих юзеров не десятки тысяч).
Поэтому, если нет серьезных причин тестировать с ограниченным числом пользователей (ака закрытая система), - фигачь нагрузку в RPS. В jmeter для этого есть http://jmeter-plugins.org/wiki/ThroughputShapingTimer/ Посчитать, сколько запросов нужно подавать можно просто по логам. Тут, конечно, могут быть свои тонкости. Например, для сценариев на старте теста у тебя может поехать соотношение типов запросов - стартующие треды делают первый запрос и отправляются в сон надолго. Но и без шейпера у тебя такие проблемы могут возникнуть.
Обрати внимание, что если у тебя будет мало тредов, то при тормозах сервера рейт запросов будет уменьшаться, т.к. пока тред не получил ответ/таймаут следущий запрос он не будет делать. Как узнать, сколько тредов достаточно? Самый надежный способ - считать исходя из таймаута: n_threads = rps/timeout_in_seconds, но больше ~2-3k тредов в jmeter создавать стремно - возникают проблемы с jvm - сборка мусора на таком числе уже может подтормаживать. Со сложными и/или кривыми тестпланами могут и раньше начаться проблемы. Поэтому можно ставить поменьше, но следить за средними временами - если у тебя по средним временам выходит, что все треды постоянно работают, значит ты начнешь отставать от расписания RPS.
Тест с малым числом юзеров может пригодиться для определения максимальной емкости системы, но это прокатывает только для относительно простых приложений. Надо подавать нагрузку постепенно наращивая число юзеров и следить за числом ответов. Ожидаемое поведение: со временем число ответов выйдет на плато и начнут понемногу расти времена ответов - система вышла на насыщение. Хорошие приложения после выхода на насыщение могут еще довольно долго разменивать скорость на число параллельных запросов, но чудес не бывает и само обслуживание параллельных клиентов жрет память/проц на переключение IOPS и т.д., так что с дальнейшим ростом можешь увидеть падение пропускной способности. Разладкой принято называть выход за пределы нормальных параметров - пошли ошибки или времена ответов превысили требуемые, тесте с наращиванием числа потоков это сложнее наблюдать, когда подаешь нагрузку в RPS разладка, обычно, видна гораздо яснее - если закончился, например, процессор, то новые запросы быстро забъют все и либо ошибки приложения пойдут, либо таймауты.
Если у тебя при подаче нагрузки без задержек постоянным числом пользователей сильно варьируются число ответов и тайминги - посмотри на запросы и на состояние машин. Если запросы по своей природе сильно отличаются по сложности - тут либо терпеть и делать более длинные тесты, либо делать синтетику/нормализацию потока. Если один и тот же запрос сильно варьируется по времени выполнения - посмотри, что может мешать. Может быть у тебя стенд или лоад-генератор в это время еще чем-то нагружен, может сетевые проблемы и т.п.
Про винду ничего не подскажу, я с ней очень давно не имел дела. Но можно прикинуть, что должен уметь подходящий инструмент: - снимать все нужные метрики с достаточной точностью (глянуть на кумулятивные счетчики в начале и в конце теста лучше, чем ничего, но недостаточно) - сохранять результаты в удобном для обработке виде (экспорт в csv или другой удобный для парсинга формат. Лучше строить графики в экселе, чем вообще без них жить. Графики в виде картинок не очень вариант, т.к. получить из них обратно числа слишком сложно, а что-нибудь посчитать может быть нужно) - незначительное влияние на систему при работе
Не думаю, что виндовые инструменты умеют метрики приложения, но уверен, что мониторинг железа/ОС (проц, память, дисковое I/O, сетевое I/O, число сокетов в разных состояниях и т.п.) там должен быть. Наверняка в базе тоже есть свои инструменты, но в зависимости от удобство может сильно отличаться. Тут главное с чего-нибудь начать, а дальше придумывать гипотезы, что является узким местом и делать эксперименты. В процессе лучше поймешь, какие метрики нужны в твоем случае. Ну да, и подумай на тем, чтобы хранить результаты тестов и мониторинг вместе и систематизировано.
Бонус из рубрики "советы бывалых", может кому пригодится: Если хочется подавать нагрузку в rps, свободно варьируя соотношение можно применить секретную технику "лапша из if-ов" и подготовить данные правильным образом.
Суть: оборачиваешь каждый сэмплер в if (юзай jexl/jexl2, дефолтное говно работает на js в реализации rhino и тормозит уже на 100 rps), который проверяет переменную, допустим ${type}, а к тредгруппе у тебя добавлен CSV reader, который читает файл и данными, которые нужны семплерам и одним из полей как раз идет этот type. Когда хочешь поменять соотношение - просто делаешь новый csv с исходными данными и подкладываешь его, сам тест переделывать не надо => профит.
Проблема тут с запросами, которые зависят от данных друг друга (например, сначала создаешь заказ, потом его редактируешь по id), то нужно либо подготовить все данные заранее, либо хитро жонглировать ими в тестплане, чтобы в нужный момент ты все эти id и т.п. знал.
Гайд, который будет дополняться:
http://pastebin.com/6p6gmxNv
Тред по автоматизации тестирования на /pr:
http://2ch.hk/pr/res/559015.html