Em novembro de 2010, o Gartner publicou uma pesquisa sob o título “MartetScope for Application LifeCycle Mangement”. É uma pesquisa que, basicamente, avalia diversas ferramentas de ALM e as classificam entre Forte Positivo, Positivo, Promissora, Cautela e Forte Negativo e a IBM foi à única empresa que recebeu o Forte Positivo entre as 20 empresas avaliadas.

Não posso dizer que fiquei surpreso com o resultado, afinal a IBM lidera esse mercado há algum tempo, no entanto, estranhei a ausência da plataforma de ALM da Microsoft na mesma posição e estranhei ainda mais o Gartner classificando a plataforma da Microsoft apenas como positivo, ao lado da HP, que até hoje não entendeu o real significado de ALM e apresenta uma suíte de testes e gerenciamento de requisitos como plataforma de ALM.

Diante dessas classificações, no mínimo, curiosas, eu resolvi fazer uma análise da análise do Gartner, uma instituição extremamente respeitada, para tentar entender porque a IBM é TOP 1 e a HP, com o seu “ALM” capenga, está ao lado da Microsoft.

Antes de começar a minha análise, convido vocês a assistirem esse vídeo do David Chappell que esclarece muito bem o que é ALM.

Minha análise começa pelo final do documento. Lá no trecho onde eles explicam o que significa cada classificação

Strong Positive

Is viewed as a provider of strategic products, services or solutions:

  • Customers: Continue with planned investments.
  • Potential customers: Consider this vendor a strong choice for strategic investments.

Positive

Demonstrates strength in specific areas, but execution in one or more areas may still be developing or inconsistent with other areas of performance:

  • Customers: Continue planned investments.
  • Potential customers: Consider this vendor a viable choice for strategic or tactical investments, while planning for known limitations.

Interessante: um dos critérios de avaliação com mais relevância é a opinião dos potenciais clientes, ou seja, clientes que talvez nunca tenham utilizado o produto ou clientes que talvez nunca tenham estudado o produto a fundo para saber se as “limitações conhecidas” são realmente limitações ou se é apenas um FUD (Fear Uncertainty Doubt) da concorrência.

Nada contra esse critério de avaliação, afinal as opiniões dos clientes são fundamentais e acredito que a Microsoft precisa trabalhar para melhorar essa falta de visibilidade apontada no estudo. Porém, opinião de cliente é um item extremamente subjetivo e pode ter uma variação bastante grande dependendo do critério de amostragem utilizado.

Em minha opinião, o peso deste critério afeta absurdamente a credibilidade deste estudo e só isso já seria suficiente para eu ignorar todo o resto do documento. No entanto, o estudo traz também algumas comparações técnicas, o que me fez continuar com a leitura. Vamos ver então o que o Gartner diz sobre as ferramentas da IBM, HP e Microsoft:

IBM

“IBM is one of the few vendors with credible offerings in almost all the subcategories of ALM – requirements, software change and configuration, quality, build and distribution domains – while also offering a wealth of methodology content and workflow support…”

“The centerpiece of IBM’s current ALM offering is Rational Team Concert (RTC)”

“IBM positions RTC both as the solution for small and midsize teams”

Até aqui, nenhum diferencial em relação às outras ferramentas. É uma ferramenta de ALM completa, com um servidor centralizado que atende times de tamanhos variados.

“The original Rational ALM solution, built around ClearCase and ClearQuest, remains the lead offering for larger organizations using traditional methods, but will be eventually replaced by newer products, creating an upgrade path for the installed base”

Issue Tracking e SCCM como solução de ALM? Nem vou comentar. Se você não estendeu o porquê, volte no início do post e assista o vídeo do David Chappell.

 

“IBM is managing a complex product transition. Gartner clients (…) had been telling us that they were looking at open source and other commercial alternatives in search of ease of use, lower administrative overhead, lower cost of ownership and different mixes of functionality”

“The big installed base may create challenges for IBM in the sense that it will be difficult to migrate existing customers to the new solutions”

“IBM still has to remove differences among the various Jazz platform offerings to resolve the installation and use difficulties reported by many of our clients.”

Neste ponto, vale a pena compartilhar uma experiência não tão agradável que tive quando fui instalar o RTC 3.x.

Basicamente, eu queria instalar o produto utilizando, como banco de dados, o SQL Server 2008. Nada complexo para uma ferramenta multi-banco, certo? Não foi bem assim! Enquanto que em algumas ferramentas, um simples wizard com Next, Next and Finish me auxilia a completar esse passo, validando se todos os pré-requisitos estão realizados, o RTC dá uma aula de como não fazer uma aplicação user friendly.

Eu utilizei como guia este documento da própria IBM http://publib.boulder.ibm.com/infocenter/clmhelp/v3r0/index.jsp?topic=/com.ibm.jazz.install.doc/topics/t_s_server_installation_setup_sql.html.

Basicamente ele nos pede para:

  • Criar um banco de dados;
  • Criar um login;
  • Alterar a collation e o row versioning do banco de dados;
  • Baixar o JDBC driver do banco;
  • Copiar os .jars para diretórios específicos;
  • Alterar a connection string em arquivos de propriedades;
  • Executar alguns comandos para criar tabelas;

E por aí vai! Confesso que me lembrei da época em que programava em Java e usava produtos Open Source sem nenhuma preocupação com o usuário.

Acho que isso mostra bem porque os clientes atuais estão procurando ferramentas mais fáceis de usar, com baixo trabalho administrativo e melhor TCO (Total Cost of Ownership).

“The published Jazz platform road map states that many Rational products can gain the benefits of the Jazz platform…”

Roadmap? Avaliar desejos e promessas para comparar ferramentas, em minha humilde opinião, não faz o menor sentido. Vou lançar um produto chamado “ALM do André v1.0” e dizer que na versão 2.0 a ferramenta vai assoviar, chupar cana e dar um triplo twist carpado invertido. Não dúvido que eu tire o primeiro lugar da IBM com esse roadmap.

“To enable standards-based integration between both IBM and third-party tools, IBM is supporting OSLC (an open XML- and REST-based tool integration format)…”

Isso é muito legal. Queria ver isso na plataforma da Microsoft.

“Scalability and performance of the Jazz-based products continue to improve…”

Muito bom, isso é um pré-requisito de qualquer ferramenta de ALM respeitável.

“We rate IBM as a Strong Positive because of its installed base and breadth of portfolio”

Em outras palavras: “Nós classificamos a IBM como forte positivo em ALM porque ela possui muitos ClearCase e ClearQuest instalados, apesar de não serem ferramentas de ALM, e porque ela possui diversos produtos, mesmo que eles sejam difíceis de instalar, migrar e não se comuniquem muito bem”.

Ah, só pra deixar claro, isso não é necessariamente a minha opinião. É apenas um resumo de tudo que está escrito no estudo.

HP

O estudo apresenta apenas dois parágrafos sobre as ferramentas da HP. Imagino que seja porque ela simplesmente não possui uma ferramenta de ALM (Lembram-se do vídeo do Chappell?). Ainda assim, vamos ver o que o estudo diz:

HP’s greatest assets are its existing installed base for PPM and quality, its sales force, and its consulting group. We think these will help establish HP as a major provider of ALM functionality. A key factor will be HP’s ability to manage partnerships to complete the solutions for clients with higher needs for agile or complex product development.

O estudo é sobre ferramentas de ALM e ele me diz que os maiores destaques da HP são o time de vendas e o grupo de consultoria? Só se for pra vender e realizar integrações com outras ferramentas para deixar o ALM da HP menos capenga.

Sinceramente, não consigo entender como HP e Microsoft estão classificadas no mesmo nível neste estudo.

Microsoft

Visual Studio 2010 gives Microsoft’s ALM offering a new, more-cohesive look, and addresses pricing and administration obstacles that have limited the use and adoption of the ALM offering.

With Visual Studio 2010, Microsoft reduced the prices of both the VS client and the Team Foundation Server (TFS) component.

Another plus for Microsoft is the strength of its Microsoft Developer Network (MSDN) franchise. Relatively low cost and ease of acquisition make MSDN a realistic channel to sell ALM into many accounts.

Redução de preço sempre é bem vinda. O alto custo das versões anteriores do produto somado com o seu pouco tempo de estrada, acabava sendo um impedimento para a adoção do TFS em diversas empresas.

A redução de preço, junto com incentivos do programa MSDN que cede gratuitamente o TFS para assinantes, acabaram viabilizando a grande adoção do produto.

Microsoft also incorporated interfaces to leverage its project and PPM offerings, as well as its agile methodology positions, to build awareness and commitments in larger clients.

Sem dúvida, a integração com o Project Server 2010 e a parceria com a Scrum.Org e o Ken Schwaber, para a criação de um template de processo baseado em Scrum foram dois dos grandes destaques de 2010.

Hoje em dia, temos dois grandes grupos de metodologias de gerenciamento de projetos de software: a metodologia “tradicional” com PMPs, seus Gantt Charts e planilhas de gerenciamento e as metodologias ágeis famosas pela sua simplicidade e planejamento constante e até o lançamento do Visual Studio 2010, a Microsoft não tinha ferramentas de primeira linha para atender a esses dois mundos.

(…) many of the gaps are “filled,” and clients have the ability to exploit existing investments in products like HP Quality Center. Microsoft’s recent contributions to filling in the gaps include testing, lab management and modeling in the Visual Studio 2010 release.

O investimento na área de qualidade foi muito grande. Até o Visual Studio 2008, a Microsoft não era conhecida por ferramentas de QA e, sem fazer muito barulho, ela chega ao mercado com o Microsoft Test and Lab Management e o Coded UI. Ferramentas completas para testes funcionais manuais e automatizados, além do gerenciamento de ambientes de testes virtuais. Sem dúvida, uma grande surpresa para o mercado, para clientes e principalmente para os concorrentes.

Substantial improvements to administrative facilities have been delivered in Visual Studio 2010.

O grande destaque deste item fica por conta do Team Foundation Administration Console, um ambiente visual onde é possível realizar grande parte das tarefas administrativas do TFS, porém para tarefas mais avanças, a linha de comando continua sendo uma ferramenta indispensável.

Another area of improvement is the ability to customize workflows, adding flexibility in supporting both agile and more-formal development processes, as well as enabling support from third parties.

Além do já citado template oficial de Scrum, homologado pela Scrum.org, a ferramenta oferece de forma nativa, outros templates para processos de desenvolvimento mais formais como o CMMi.

A grande novidade da versão 2010 fica por conta da criação do programa Visual Studio Certified Process Templates Program que avalia se templates criados por parceiros foram desenvolvidos seguindo as recomendações e se oferecem suporte e treinamento

Additionally, there are more reporting and analytic capabilities.

Utilizando como base a plataforma de BI e o Reporting Services do SQL Server 2008, o TFS melhorou sensivelmente seus recursos de relatórios. Relatórios mais apresentáveis, com informações mais claras, com explicações sobre como interpretá-los e links para relatórios relacionados permitem que você tenha uma visão completa da saúde de seus projetos.

Microsoft improved support for Eclipse and for other non-Microsoft environments with Visual Studio Team Explorer Everywhere 2010. This permits users to store artifacts in TFS.

Cross-platform support in other parts of the solution are limited, so a separate Java tool stack is likely needed.

Uma grande crítica que a Microsoft recebia até a versão 2008 do TFS, era que a plataforma era extremamente produtiva, porém só funcionava com Visual Studio e aplicações .net. Na versão 2010 isso mudou muito e agora usuários de Eclipse possuem a mesma usabilidade que um programador .net dentro do Visual Studio.

Além disso, outros ambientes como Mac, Linux e até mainframe são suportados através de linha de comando.

O estudo aponta também uma limitação de integração dizendo que outras ferramentas como IntelliJ e JDeveloper não possuem integração nativa com o TFS. Realmente a plataforma de ALM da Microsoft não oferece plug-ins para essas ferramentas e acredito que, devido ao grande número de ferramentas existentes para Java, a Microsoft irá utilizar a abordagem de deixar esse suporte para parceiros.

Microsoft has a strong reach in the market, and moderate pricing for a large, stable provider. It has a proven, scalable architecture. A large community of supporting vendors helps fill gaps in the tool portfolio.

Rating: Positive

Em outras palavras, apesar da Microsoft ter recebido apenas elogios no estudo, ter um forte alcance no mercado, uma política de preços moderados, uma arquitetura escalável, suporte a agilidade e a métodos tradicionais, diversas melhorias na instalação, ferramentas de testes, relatórios, interoperabilidade, a Microsoft é classificada apenas como Positivo.

Conclusão

Minha conclusão, com todo respeito ao Gartner, é que esse estudo está cheio de falhas e que foi feito por pessoas diferentes com critérios de avaliação diferentes.

Ele relata claramente dificuldades de instalação e migração na plataforma IBM, afirma que clientes estão buscando alternativas com mais facilidade de uso e menor custo de manutenção e que a classificação como forte positivo é baseado no grande número de clientes que utilizam ClearCase e ClearQuest e no grande número de produtos disponíveis que possuem dificuldades de integração.

Por outro lado a Microsoft, que possui uma plataforma completa de ALM, que só recebeu elogios durante o estudo e que apresentou melhorias em diversos componentes de sua plataforma é classificada apenas como positivo ao lado da HP, que não possui uma ferramenta de ALM, tendo como grande destaque o seu time de vendas e grupo de consultores.

De qualquer forma, o paper não é totalmente inútil. Ele nos ajuda a conhecer um pouco mais sobre outras ferramentas.

Aproveito esse espaço também para deixar um conselho a todos vocês. Sempre que algum consultor ou vendedor tentar te oferecer um produto baseado em opiniões de entidades externas, mesmo que extremamente conhecidas e respeitadas, desconfie! Peça para ler o estudo, analise-o atentamente, instale a ferramenta, faça uma PoC (Prova de Conceito) e tire as suas próprias conclusões!

É isso pessoal, espero que tenham gostado!

Abraços e até a próxima.

Obs: Normalmente esses estudos são pagos e empresas como IBM e Microsoft compram o direito de reprodução para disponibilizar o estudo a seus clientes. O estudo completo, onde fiz a minha análise, pode ser encontrado publicamente no blog do Bruno Braga, IT Specialist da IBM Rational, no seguinte endereço http://www.brunobraga.com.br/files/Gartner_2010_ALM.pdf