Lean Startup aplicado a la composición musical

Cómo un compositor de películas utiliza Lean Startup

Por Lean Startup Co. Education Program




Recientemente organizamos una conversación por Internet entre Giovanni y Marilyn centrada en cómo las metodologías de Lean Startup se traducen directamente en trabajar en el mundo de la música y la composición.

¿No tienes tiempo para el webcast completo ahora? Vea los puntos destacados y los consejos de su conversación en nuestro blog complementario a continuación.

Si desea leer la transcripción completa de la conversación de Marilyn Gorman con Giovanni Rotondo, puede descargarla.

Encontrar conexiones Lean Startup en mundos no emergentes

Como compositor de cine y televisión, Giovanni Rotondo no está en una línea de trabajo tradicionalmente asociada con nuevas empresas o iniciativas Lean Startup. Todo empezó a cambiar cuando se unió a una startup en Londres llamada The Rattle.

"[The Rattle] es [tanto] una incubadora de carrera para artistas como una incubadora de startups para startups musicales", explica Giovanni. Inicialmente, se unió como artista, pero Giovanni estaba intrigado e inspirado por la cultura de startups y comenzó a tener ideas propias que se aplicaban al mundo de la música. Compartió su idea con el copropietario y cofundador de The Rattle, Chris Howard. Chris sugirió el libro The Lean Startup a Giovanni. Mientras lo leía, Giovanni podía sentir la conexión entre el mundo de las startups y su ocupación.

"Realmente [me zambullí] en mi mente para ver cómo aplicar estos conceptos a mi trabajo", dice Giovanni, "y ... encontré varias maneras".

"Realmente me sumergí en mi mente para ver cómo aplicar estos conceptos a mi trabajo, y encontré varias maneras".

La señal mínima viable

En su sitio web, Film Scoring Tips, Giovanni escribió una serie de blogs de tres partes llamada "The Lean Composer" (blogs, aquí, aquí y aquí). En estos blogs, explora las principales conclusiones que los artistas compositores pueden quitar de la metodología The Lean Startup.

La primera y más sorprendente idea que se conectó con Giovanni fue la de un producto mínimo viable. Pero, al aplicarlo a su mundo, lo llama "señales mínimas viables".

En el mundo de la composición cinematográfica, una pieza musical que tiene un principio y un final se denomina cue. Mientras trabajan en un proyecto de puntuación, los compositores deben enviar lotes iniciales de señales a un director. Esto puede ser una tarea desalentadora y lenta. "Una primera tanda de claves exitosa puede significar una experiencia de escritura global exitosa", explica Giovanni. Así que un primer lote de señales problemático puede ser un desastre.

Giovanni se dio cuenta de que podía hacer que esta fase en el proceso fuera más eficiente enviando la señal antes del proceso. Lo hace logrando que la música llegue al punto en que suena bien y transmite la idea, pero aún no está completamente refinada. "[Los directores] no tienen que saber que no es perfecto", señala Giovanni, pero aún así, "debe sonar perfecto para ellos". El refinamiento puede venir más adelante en el proceso.

La psicología involuntaria de las pruebas A / B

Otra metodología de Lean Startup que Giovanni ha implementado con éxito en su trabajo como compositor es la idea de las pruebas A / B.

"He comenzado a enviar los primeros lotes de señales en las versiones A / B", explica. Esto le permite probar el trabajo en los directores para ver qué versiones funcionan mejor. Además, él cree que hay un componente psicológico involucrado. Al enviar opciones, en lugar de solo una iteración, puede hacer que el receptor sienta que tiene que elegir qué opción es la mejor, en lugar de simplemente aceptar o rechazar el producto enviado. "Es casi como si eliminaras la negativa de la ecuación".

E incluso si una de las versiones no es aceptada, es una buena manera de descartar áreas para no tocar o resaltar una dirección que sea buena.
"He comenzado a enviar los primeros lotes de señales en las versiones A / B".
Haga clic para twittear

Encontrar el orgullo en tu pivote

Pero incluso con la búsqueda de formas de maximizar el tiempo y el éxito, en una industria creativa, el fracaso es una gran parte del viaje. "[...] Muchas veces ni siquiera es culpa de una persona en particular", dice Giovanni, "son solo dos artistas que tratan de encontrar un terreno común".

Eso hace que sea aún más importante aprender a aceptar, aprender y seguir adelante con el fracaso. "Mi corazón aún se rompe cada vez [se rechaza una señal]", dice Giovanni, "[así que] es una cuestión de qué tan rápido puedes recuperarte de él".

Una de las maneras de lidiar con el fracaso es encontrar formas de pivotar. Pero al girar, aún debe tratar de sentirse tan orgulloso de su nuevo producto como lo estaba con el concepto original. Es una cuestión de ajuste. Cuando giraba sobre una pista, Giovanni conservaba algunos de los elementos que creía que estaban funcionando. Le ayudó a sentir que no había perdido el tiempo y que estaba adelantado a tiempo.

Para Giovanni, esta capacidad para girar y aún producir un trabajo excelente "me hace sentir que ahora tengo superpoderes".

Salga de su caja

En el futuro, Giovanni quiere seguir aplicando las metodologías de Lean Startup en su trabajo y en la comunidad musical. Quiere que su blog sea un lugar para presentar métodos nuevos y actualizados para los compositores de películas.

"Para mí, la mejor parte de la adopción de este nuevo conjunto de [...] reglas es que elimina el estrés de la experiencia. Y mientras más divertido lo hagas, mejor lo harás ".

Giovanni también subraya la importancia de exponerse a culturas e influencias externas, como leer libros que están fuera de su campo o ver películas que son géneros que no le gustan. Es importante no solo cerrarse en su área de especialidad. "Hay algo que aprender en estas experiencias", dice.

Read more »

Cómo las pruebas A/B puede hacer funcionar tu negocio

Cómo las pruebas A / B puede hacer funcionar o romper su negocio
Las empresas que producen crecimiento de los ingresos pendientes están constantemente desafiando su status quo y tratando de mejorar sus productos y servicios con la retroalimentación y la experimentación.

Por Maisie Devine - Inc
CEO y Co-fundador, Poacht @ Maisie_Devine


IMAGEN: Getty Images

Temprano en la vida de una empresa, los fundadores harán casi cualquier cosa para mantener la quema de dinero mensual manejable. Esto incluye la famosa dieta de fideos y arroz: baja en nutrición, pero también de bajo costo. Alguna vez en 2013-2014, tuve que scotch la hemorragia monetaria. Así que me fui para él y rechacé los deliciosos placeres de la ciudad de Nueva York mediante la supresión ceremoniosamente mi cuenta sin costuras. Era el momento de ver cada centavo de flujo de caja.

Lo que me di cuenta rápidamente de que era el llamado "Fundadores de la dieta" tiene un pequeño secreto sucio que nadie habla. Usted es susceptible a ataques peligrosos de escorbuto si se adhieren estrictamente a las directrices. Como no quería traer esto sobre mí mismo, he optado por opciones de comidas igualmente baratas en forma de 2 por 6 comidas congeladas. Para mi sorpresa, encontré algunos que potencialmente rivalizaba restaurantes de tres estrellas de Nueva York. No está mal! Me gustaría comprar 30 a la vez y comer para el almuerzo y la cena todos los días y la estancia-escorbuto libre. Entonces, un día entré en la tienda y el envasado había cambiado. Debería haber sentido la ominosa nube encima de la cabeza, pero yo ingenuamente cree la copia "NUEVO parrilla Carne blanca de pollo." Gran error! Era incomible.

Si tuviera que aventurar una respuesta, la empresa había comenzado claramente abastecimiento de la carne de las granjas más baratos. Es de suponer que se trataba de las mismas fábricas de proteínas como nuestra QSR favorito. Y hubo más problemas que sólo la carne sarnoso. Las salsas de pasta estaban tan aguadas que estaban sin sabor. Creo que la papilla que Oliver Twist recibido en el orfanato era mayor calidad que esta receta nueva y mejorada.

Odio esta nueva receta, hice algo que casi nunca hago. Fui en su página web para quejarse. Para mi satisfacción, yo no era el único. Muchos otros que amaban el producto original habían llegado al lugar para expresar sus quejas. Un producto que fue una vez 5 estrellas rápidamente bajó a 3. Administración dio la misma respuesta corporativa rancio a cada mala crítica -. "Estamos mucho lo que no está satisfecho con la nueva receta Vamos a pasar esto a nuestro equipo. " Sin cambios en el producto, que tristemente abandonado toda esperanza y escabulló a Trader Joe. Pero creo que hay una lección importante para aprender de los errores de esta empresa.

Obtén comentarios del usuario

Casi todas las compañías de tecnología que he trabajado o ha consultado para recoge comentarios de los usuarios antes de realizar cambios de productos importantes (o incluso los aparentemente sin importancia). Pruebas A / B es de suma importancia. Las empresas hacen docenas de pruebas para tratar de optimizar su producto y embudo de ventas. Lo hacen grupos focales de los usuarios actuales y enviar encuestas para obtener retroalimentación antes de lanzar una nueva versión o una función. Esta es una práctica común y ha demostrado resultados.

Basándome en las críticas mordaces, la gestión de nuestra empresa cena congelada descuidó por completo esta práctica. Si la compañía había hecho su debida diligencia, habría descubierto que prefiero pagar $ 1 más por la vieja receta que en el mismo precio para un producto de menor calidad. En cambio, ellos me perdieron como cliente muy leal.

Una empresa que lo hizo bien

Muchos de ustedes recordarán la pizarra de anuncios que se emitió en el 2010 de Domino nuevo CEO Patrick Doyle pidiendo disculpas por la mala calidad de la pizza. Él dijo: "Te escuchamos, América" ​​y vamos a hacerlo mejor. Gestión de Domino volvió a la mesa de dibujo, hizo grupos focales y paneles de cata. Al final, Domino presentó al público estadounidense con una verdadera receta nueva y mejorada. ¿Cómo sabemos que funcionó? La acción subió de $ 13 por acción a más de $ 110 en 5 años y Domino es a una tasa de ejecución de US $ 4 mil millones en ventas.

Así que recuerde, las pruebas A / B y el trabajo retroalimentación de los usuarios. Usted está tratando de complacer a sus clientes y ellos saben lo que quieren mucho mejor que tú.

Read more »

Nuevas tendencias de marketing: Mas email y menos pruebas A/B

El correo electrónico manda, las pruebas A / B están sobrevaloradas, y otros consejos de marketing sorprendentes de nuevos emprendimientos
Venture Beat


CEO TrackMaven Alan Gannett presenta una breve historia de marketing de canal en la Cumbre de la OCM

¿Qué tipo de consejos de marketing comparten startups de una firma VC?

Bowery Capital acogió en Manhattan su segunda cumbre anual OCM [director de marketing] el jueves para averiguarlo. Reunió a casi una docena de empresas en su cartera - incluyendo análisis de marketing de la firma TrackMaven, plataforma de formación Codecademy y plataforma de datos móvil MParticle - junto con los proveedores relacionados e invitados.

La firma VC realiza talleres tácticos similares cada trimestre, centrándose a su vez de los problemas comunes que enfrentan los oficiales principales de ingresos, directores financieros y oficiales técnicos principales.

Fundador Bowery capital y socio general, Mike Brown Jr. ofreció la primera serie de consejos - tendencias tres de marketing de alta tecnología que Startups que venden a grandes empresas deben saber:

• Hay una posición C-suite emergente, el director de tecnología de marketing (que VentureBeat informó en 2012). Brown dijo que este papel, que combina marketing con conocimientos informáticos, está apareciendo en empresas como Kimberly Clark y American Express.
• "Ciclos de compra para vender en Fortune 500s son cada vez más cortos," impulsados por la delegación de autoridad por parte de la compra de la gestión de marketing más para jóvenes, a menudo móvil primeros tipos. Señaló Walgreens como "un ejemplo de la OCM no tomar muchas decisiones [digitales]; móvil está haciendo todo, con un [sin nombre] 36 o 37 años de edad enormes tomando decisiones ".
• You "tiene que ser mucho más en su juego" en la toma de lanzamientos. "Hace tres o cuatro años", dijo Brown a la reunión de varias docenas, "el ciclo de compra fue el lanzamiento inicial. A determinar los requisitos [del cliente] y volver y conocer a las partes interesadas. "Hoy, dijo, la generación más joven" compradores no quieren eso. "Al igual que muchos compradores en estos días, que quieren presell ellos mismos. "'Danos estudios de caso, un acceso de prueba durante 30 días su software, y nos pondremos en contacto con usted'", dijo Brown es la actitud actual.

'La nueva lingua franca'

Margaret Molloy, la OCM y jefe de desarrollo de negocios de la agencia de branding Siegel + Gale, señaló en un panel sobre "Cómo OCM marca Big Trabaja con Startups" que nuevas empresas deben tener en cuenta otra nueva tendencia entre las organizaciones de gestión colectiva: Están aprendiendo a código.

"Es la nueva lingua franca", dijo ella, con algunas de las OCM al parecer tratando de obtener un mejor manejo de cómo simplificar sus negocios.

Al hablar con las empresas, también aconsejó que startups no deben "tener demasiada religión acerca de lo que se llama [su tecnología]."

Startups deben ser flexibles en la forma en que describen lo que sus problemas resuelve tecnología, señaló Molloy. "A veces, su tecnología es tan visionario, es por delante del presupuesto [porque] no hay partida presupuestaria para ello."

Alan Gannett, el CEO y fundador de respaldo-Capital Bowery firma de análisis de marketing TrackMaven, aconsejó que lo mejor es pensar en los clientes digitales modernas como colibríes, visitando muchas flores (fuentes de información) en su viaje. La analogía sorta trabajó en su presentación sobre la historia del marketing multicanal.

"El [ventas] embudo está bajo ataque", agregó, señalando una estadística muy citada que B2B compradores independientes informar son, en promedio, un 57 por ciento hacia su decisión de compra antes de que incluso se involucran con un vendedor.

Dijo que las estrategias deben incluir la lucha contra la comercialización que es específico del canal, un "always-on" enfoque de respuesta rápida, la comprensión de que "el marketing basado en datos ganará", y mantener un compromiso para ganar "la guerra de la atención."

Lo que no debe hacer

Kipp Bodnar, el vicepresidente de marketing de comercializador entrante HubSpot, presenta una mezcla heterogénea de consejos de la historia de su compañía - la mayoría de las cosas que no deben hacer.

En sus primeros días, dijo, su compañía creó un sitio web Grader muy exitoso que evaluó la efectividad del marketing de un sitio, y luego, con ganas de explotar la misma línea, siguió con una niveladora y otros más completa Marketing. Mientras que el producto inicial fue un éxito, los otros ofrecieron "demasiada información", dijo.

La lección, dijo, es que si se crea "una herramienta de éxito, libre [a] resolver painpoint de una perspectiva," no Layer en más herramientas del mismo tipo a menos que también se identificaron directamente en la solución de un problema.

Aconsejó que startups invierten en la construcción de los suscriptores del blog - especialmente suscriptores de correo electrónico - como una manera de construir una base de fans permanente.

Bodnar también compartió dos consejos que van en contra de la marea de muchos consejos de marketing:

• "El intercambio de correo electrónico sigue siendo el rey."
• "El exceso de pruebas A / B es un desperdicio", porque terminas prueba cosas que son demasiado pequeños para ser digno de la época.

Y saber CEO y fundador Matt Straz relató cómo "hizo todo lo contrario de lo que los capitalistas de riesgo dicen que debemos hacer", como él descubrió la manera de aumentar el reconocimiento de marca de su naciente compañía de software de recursos humanos / nómina con un presupuesto modesto.

"No hay tal cosa como demasiado pequeña '

En lugar de centrarse principalmente en entornos digitales, su compañía se aventuró en el mundo real fuera de la puerta de sus oficinas de la Ciudad de Nueva York. Su equipo creó grandes carteles y coloridos, con un mensaje simple que adornaba decenas de paradas de autobús, estaciones de ferrocarril Metro North y techos de taxis. También expondrán en eventos de la industria.

Cuando la comercialización de contenidos en línea realizada saber, Straz señaló que la clave era encontrar una agencia que podría ayudar con la colocación correcta.

Y, en un comentario de cierre apropiado, su rostro se iluminó las perspectivas de nuevas empresas en fase inicial en todas partes.

"No hay tal cosa como ser demasiado pequeño para crear conciencia de marca", dijo. Una agencia de publicidad le mostró la investigación, Straz, dijo, que las tasas de respuesta de marketing directo corresponden casi exactamente con conocimiento de la marca en un mercado determinado.

De hecho, el ex ejecutivo de publicidad, dijo, nuevas empresas pequeñas que viven en capital inicial o incluso la Serie A "puede conseguir un precio mejor de las agencias de publicidad."

Las agencias de saber que no tenemos mucho dinero, sin embargo, dijo, pero "ellos quieren que usemos sus herramientas", por lo vamos a seguir haciendo lo que cuando estamos cargados con rondas posteriores.

Read more »

Antes de emprender.. ¿qué hacer?

La cosa más importante que hacer antes de la construcción de su emprendimiento


Dharmesh Shah - OnStartups

Fallamos.

Después de 6 meses estudiando detenidamente la calidad del código y perfeccionar el diseño de nuestra aplicación móvil, mi pareja y yo finalmente lo lanzó en la tienda de aplicaciones y las descargas empezaron a venir pulg

Luego, después de unos pocos días, BOOM. Nos recibió un puñetazo en la cara por la realidad. No hay usuarios volviendo a la aplicación. Este fue un choque devastador, ya que la mayoría de las personas con las que hablamos estaban entusiasmados con la idea. Nuestra aplicación permite sacar fotos y hacer preguntas para aprender acerca de lo que estaba viendo. Tenía todos los rasgos de las tendencias de inicio más publicitado que años: móviles, sociales, locales. Fue a principios de 2011.

Frustrado y decidido a averiguar por qué nadie estaba utilizando nuestra aplicación, decidí entrevistar a los usuarios de iPhone que tomaron muchas fotografías buscando entender si tenían preguntas visuales para crear. Después de unas cuantas rondas de entrevistas, donde me acompañó a través de sus fotos, pronto quedó claro que yo había construido mi producto bajo un supuesto crucial, y deficiente; ¡Yo había asumido que la gente realmente tenían preguntas acerca de las cosas que tomaban fotos! Lo que aprendí fue que estas personas estaban a menudo en entornos familiares donde nada nuevo despertaba su curiosidad. Incluso cuando lo hicieron tomando fotos de algo que era interesante, no se molestaban lo suficiente como para hacer el esfuerzo extra necesario para averiguar la causa raíz más información. El por que de nuestro emprendimiento fallido finalmente había caido en la cuenta. El fracaso no se debió a una solución mal diseñada; nuestra aplicación, simplemente no resolvió por una verdadera necesidad humana. Yo había estado trabajando bajo la suposición de que nunca habíamos validado.

La clave para los productos de construcción a los usuarios quieren

¿Por qué tardó tanto tiempo para darme cuenta de que yo estaba construyendo una solución para un problema que no existe? Además de los diversos sesgos de confirmación que a menudo plagan los empresarios, muchos no reconocen estas dificultades desde el principio, ya que no están tomando el tiempo para probar rápidamente los supuestos de riesgo antes de saltar a la emoción del edificio.

Al poner a prueba el valor del producto, y otros supuestos de forma continua durante todo el proceso de desarrollo de productos, los empresarios se multiplican las posibilidades de sus empresas adquirirán un grupo de apasionados de los clientes que realizan más rápido.

La identificación de los supuestos

Una hipótesis puede ser cualquier número de cosas - un comportamiento de los usuarios, la mentalidad, o una acción que tiene que ser exacta para que la solución sea viable. La hipótesis más arriesgada es la suposición de que es más fundamental para la viabilidad de la empresa y más desconocido, es decir, hay poco o nada de los datos recogidos que apoya la validez de la hipótesis. Prueba de la hipótesis de mayor riesgo en el comienzo mismo del proyecto se reduce el tiempo que se tarda en encontrar los mayores defectos en una idea y aumentar la velocidad a la que podemos encontrar una mejor alternativa más viable.

En mi ejemplo, la asunción de mayor riesgo para probar desde el principio hubiera sido : la gente tiene preguntas que hacer acerca de sus fotos. Eso es lo que finalmente volví a prueba, después de que mi pareja y yo nos dio nuestros salarios y puestos en meses de trabajo. Prueba de la hipótesis de mayor riesgo es para muchos difícil de hacer y, muy a menudo, los equipos va a sucumbir a la retrospectiva sesgos y discutir subjetiva. Para mitigar este problema, los empresarios necesitan una manera de hacer una lista de sus supuestos para cualquier nueva idea, realizar un experimento eficaz y mutuamente responsables de los resultados.

Prueba de la hipótesis de mayor riesgo

Hay muchas maneras para que los equipos para definir y acordar lo que están probando en la delantera. El dolor de mi fracaso yo y mi co -fundador llevó a Javelin, Trevor Owens, para crear el panel de experimentación, lo que ayuda a los empresarios a hacer esto de una manera sistemática. Anotar el supuesto de mayor riesgo se centra los esfuerzos del equipo de pruebas, el aspecto más importante de la empresa en primer lugar. Una vez que la asunción de mayor riesgo es validado, el equipo puede pasar a probar la próxima asunción de mayor riesgo.

Uno de los beneficios clave de la Junta Experiment es su capacidad para ayudar a los empresarios y los equipos se centran en los problemas del cliente y supuestos, en lugar de saltar en soluciones. Los pasos que aporta a los usuarios a través de los mismos pasos son un empresario debe tomar con cualquier nueva idea de negocio :

• Identificar los segmentos de clientes, y el problema está resuelto.
• Piensen en una lista de supuestos.
• Determinar cómo el equipo va a saber si una hipótesis es válida.
• Validar antes de construir

Vamos a ver cómo funciona esto con un estudio de caso de Tarikh, fundador de Seen.co, el último ganador de Lean Startup Machine que llegó a recaudar dinero de Dave Tisch y otros altos inversionistas.

Validación continua

Una vez que un empresario ha validado que hay un problema real del cliente para resolver, el siguiente paso es poner a prueba la cantidad de la solución vale para el cliente. ¿Van a pagar, antes de la orden, o renunciar a algo de valor para utilizar el servicio? Esta medida de la demanda se puede probar fácilmente a través de un experimento de campo. Usted puede hacer esto con una página de destino simple y algunos anuncios de Google (y sí, hemos creado una herramienta para ayudarle a hacer precisamente esto, que se llama QuickMVP).

El proceso de identificar y probar hipótesis debe ser continua en la construcción de una nueva empresa. Asistir a una próxima máquina Lean Startup en tu ciudad (LSM Boston está sucediendo junio 6 a 8 ; registrate aquí ), para conocer el proceso y evitar el desperdicio de tiempo y dinero construyendo cosas la gente no quiere. Confía en mí, he aprendido de la manera difícil.

Registrarse para la Lean Startup Machine Boston el 6 al 8 de junio.

Este es un puesto de invitado por Grace Ng, Co -Fundador de Javelin.com y Lean Machine inicio ( LSM ), taller de Lean Startup más importantes del mundo. LSM Boston es este fin de semana 6 a 8 junio 2014 y las entradas están casi agotadas, conseguir el tuyo aquí y utilice el código " onstartups " para un descuento del 30 %.

Read more »

Poniendo datos en el diseño

Putting Data in Design 

BY RYAN UNDERWOOD

Want to develop a product that customers will love? Take a cue from Internet companies and do some testing. A lot of testing.

Designing an innovative product requires impeccable taste, sharp instincts--and, of course, good data.

Taking a page from the tech industry, product makers and retailers are employing A/B testing, a technique frequently used to refine websites. Traditionally, that involves showing users two slightly different versions of a webpage to see which one drives more sales. For example, Version A might have a button that says Buy Now, while Version B says Get More Information. For online developers and marketers, these sorts of experiments have become the industry standard. A survey from MarketingSherpa finds that, of the online marketers who measured return on their A/B testing, 81 percent reported a positive return on investment.

Now, companies that make physical stuff are using these tests to determine what customers want and how best to get them to buy. Crowdery, a Y Combinator-backed start-up based in San Francisco, is working on a widget that would let retailers collect data on which potential products customers prefer. Crowdery’s technology is still in beta testing, but the process can be as explicit as asking consumers to vote on a favorite shirt style in hopes of scoring a presale discount if the item ultimately gets made. Or Crowdery’s code can lurk silently in the background, walking users through a typical transaction before informing the customer that the item is not yet available.

Founder Maran Nelson came up with the idea after working with a company that makes and sells backpacks. At the time, the founder of that business was worried about investing time and money into manufacturing designs that might prove to be unpopular with customers. “We started seeing that there was this pain point for retailers,” says Nelson. “Ultimately, you have an industry making huge financial decisions in a very inelegant way.”

Unlike traditional focus group participants, customers in these sorts of A/B tests often believe they are about to purchase a product, which makes the feedback more valuable. For instance, Julep, a Seattle-based cosmetics start-up, tested demand for a new nail-polish wand by taking out several ads on Google. One ad presented the new IDEO-designed wand as a tool for sophisticated color mixing. The other promised results similar to those at a professional nail salon. Overwhelmingly, people clicked on the ad touting the professional-salon quality, says founder and CEO Jane Park. She expects to start shipping the gadget in May. Because of the results, she’s now considering offering the wand’s color-mixing attachment as a separate product.

In addition to ads, Julep regularly taps customers for input, including polling its Idea Lab, a group of 5,000 customers who weigh in on early prototypes. These sorts of tests help speed up the development cycle and validate demand for an item before it hits the market, says Park. Even small tweaks made with feedback from customers--whether it’s a slightly different nail-polish formula or an improved package design--can make a big difference in sales. So that input is invaluable, says Park, even if it occasionally proves her wrong. “I have a disagreement with my creative director almost every day,” she says cheerfully. “But there’s a simple way to settle any argument: We take it to the people.” 

Here are three rules for making the most of your customers' dynamic feedback: 

1. Ask the right question. Don’t waste your time testing small tweaks. The choices you’re asking customers to make in an A/B test should be different enough for your audience to notice. The bigger the difference, says Robert Moore, a statistician and the CEO of RJMetrics, the fewer people you need to poll to produce statistically meaningful results.

2. Simulate real life. There’s a big difference between paying people to participate in a focus group and having them actually think they’re about to spend money on something. You’ll get a more accurate reflection of customer demand when people believe they are being asked to open their wallets.

3. Don’t become a slave to the numbers. In the same way that politicians shouldn’t govern by opinion polls alone, leaders should avoid making decisions on data alone, says Jane Park of Julep. Just because something does well in an A/B test does not guarantee it will be a hit in the marketplace.

Inc.com

Read more »

Pruebe el desempeño de su sitio web

Test the Performance of Your Homepage: 3 Tips 

By JANINE POPICK

Your homepage may be the hardest working page on your website, so make sure you know what's working and what's not.



Almost every business has a website these days and the most important part of your website is your homepage. It's the online front door to your business and for most of us, it gets the lion's share of visitors. And your homepage may be the hardest working page you've got because, like a hostess with the mostest, your homepage has to work it with every visitor that drops by.

So how can you make the most of your homepage? I've got tips from the trenches honed from over 12 years running my online marketing company, VerticalResponse.

Gather Your Data

I work closely with our director of marketing communications, Alf, and other members of our marketing team to keep close tabs on the performance of our homepage. Having an optimized homepage experience is critical to our business because we have to get folks to sign up for a free trial of our e-mail and social media marketing services.

We use a variety of tools to assist us, with the most indispensable being Google Analytics. We look at the reporting on a daily and weekly basis to see where we have spikes and where we see people dropping off. By looking at our performance over time we can also see trends. And, by having this data, we are able to make informed choices about what elements we want to optimize and test to improve the conversion rate on our homepage.

Ready, Set, Test!

If you've never conducted a test, or an A/B test as it's called for those in the biz, it simply means to compare two versions of the same element for an equal amount of time, to check which of the two versions performs better.

Some basic rules of the A/B testing road?

1. Remember to test one element at a time so you don't muddy your results.
2. Ensure you run your test for a long enough period of time to get enough traffic to your website so your data will be relevant.

If you test too many things at once, you won't know what is having an impact and, if only 10 people see your test, you need to keep running it until you can get some statistically relevant data.

Lucky for all of us marketers, there are some simple and user-friendly tools out there that make testing less of a chore. Two that we use include Google Content Experiments and Optimizely.

With Optimizely, you just enter the URL for your website, then they'll hold your hand and take you on a "guided tour" to start what they call your "experiment." It's basically a testing wizard and really walks you through the paces. Perfect for both beginners and those of us who've run more tests than we care to share.

Never Stop Testing

In San Francisco, we live in the shadow of the Golden Gate Bridge. Many people don't know it, but there is a crew constantly painting the bridge to maintain that famous International Orange color.

That's a pretty good metaphor for how you should approach tests on your homepage. If you want it to be awesome, you'll never be done testing and that's a good thing. You have to constantly maintain it. Once you've nailed one element, move on to the next and then the next. In order to maximize conversions during this process, you'll want to prioritize the elements from the most impactful to the least so you get the most bang for your testing time and bucks.

You can also get more ideas around testing from one of our favorite sites called Which Test Won by Anne Holland. Each week Holland and her team feature a "Test of the Week" highlighting reader-submitted tests of lots of different online elements, from sign-up form length to page layout. They've got a library of over 350 A/B tests to help you get ideas, and see which tests improve conversions the most. Cool stuff!


Inc.com

Read more »

Ensayos alternativos a las pruebas A/B

Alternative to A/B Testing You Need to Try 

BY ABIGAIL TRACY

The method that has been a marketing staple might be replaced by the newer marketing method--experimental design.

In the marketing world, A/B testing has been a staple for many years. As you probably know, the idea is to change a product slightly so you have two versions--A and B--and then determine which version consumers prefer. But a recent Wired article questioned the efficacy of this esoteric marketing tool. It argued that A/B testing is limited and that experimental design might be a better marketing method. 

According to the Wired post, A/B testing works well when hundreds of different tests can be run at one time. But when the number of tests conducted is limited, the variance in the sample is not great enough and the statistical significance in the testing is meaningless. It added that in many cases it is also hard to identify which variables elicit a response from consumers--all problems experimental design might have a solution for. 

Experimental design works best with companies that market to a large group of customers--listing credit card companies, online retailers and telecommunications firms as good examples. 

So, what is experimental design? 

According to the story, experimental design uses “mathematical formulas use combinations of variables as proxies for the complexity of all the original variables," then it allows for adjustment based on responses to different variables. So what it does is increase the variance in marketing campaigns so as businesses can determine the best marketing campaign based on numerous changes and various combinations and then adjust to these more quickly. 

However, the article pointed out that experimental design must be accompanied by other changes in the company. For instance, companies must be able to reach the right groups of consumers for the testing, that employees are properly trained in the new method and that there is a process of decision making set up around the shift to experimental design. 

Inc.com

Read more »

¿Cómo testear su MVP?

How to Test Your Minimum Viable Product 

BY STEVE BLANK  AND  BOB DORF

Will your idea fly with customers? Here's the best way to find out.

Editor's note: This post is part of a series featuring excerpts from the recently published book, The Startup Owner's Manual, written by serial entrepreneurs-turned-educators Steve Blank and Bob Dorf. Come back each week for more how-tos from this 608-page guide.    

Once your Business Model Canvas is done, it's time for your team to "get out of the building" to test your hypotheses. You need to answer three key questions: 

• Do we really understand the customer's problem or need?
• Do enough people care about the problem or need to deliver a huge business?
• And will they care enough to tell their friends, to grow our business quickly? 

Regardless of whether you have a physical or Web/mobile product, Customer Development experiments are short, simple, objective pass/fail tests. 

Start by asking yourself, "What do I want to learn?" And, "What's the simplest pass/fail test I can run to learn?" Finally, think about, "How do I design a pass/fail experiment to run this simple test?" 

The goal of these tests is not just to collect customer data or get a "pass" on the test.

It's something more profound and intangible: entrepreneurial insight. Did anyone end your sales call by saying, "Too bad you don't sell x, because we could use a ton of those"? That's the kind of feedback you're looking for. 

How to Test a Web/Mobile Concept 

The problem phase is markedly different for Web/mobile startups, where feedback comes far faster. The best strategy is to use a "low-fidelity" minimum viable product (MVP) that can be as simple as a landing page with your value proposition, benefits summary, and a call to action to learn more, answer a short survey, or preorder. It could be even a quick website prototype built in PowerPoint or with a simple landing-page creation tool. Your goal is something basic--no fancy U/I, logos, or animation.  

And no matter what, there's no substitute for face-to-face discovery with customers to see their reaction to the problem or the solution. Do their eyes light up or glaze over? (You may have to do all this for each "side" in multi-sided markets, where the issues differ for buyers and sellers/users and payers.) 

Get the MVP live as quickly as possible (often the day you start the company) to see if anybody shares your vision of the customer need/problem. Your website/prototype should:

• Describe the problem in words or pictures ("Does your office look like this?")
• Show screen shots of the potential solution ("Pay your bills this way")
• Encourages users to "sign up to learn more" 

Measure how many people care about the problem or need and how deeply they care. The most obvious indicator is the percentage of invitees who register to learn more. Next you need to learn if visitors think their friends have the same need or problem, so include widgets for forwarding, sharing, and tweeting the MVP. 

Focus on the conversion rates. If the MVP gets 5,000 page views and 50 or 60 sign-ups, it's time to stop and analyze why. If 44% of the people who saw an AdWord or textlink to the MVP signed up, you're almost certainly on to something big. What percentage of people invited to the test actually came? What percentage of people in each test (a) provided their email address, (b) referred or forwarded the MVP to friends, or (c) engaged further in a survey, blog, or other feedback activity? Of those who answered survey questions, how many declared the problem "very important" as opposed to "somewhat important?" 

Consider Using Multiple MVPs 

Many start-ups develop multiple low-fidelity websites to test different problem descriptions. For example, a simple online accounts payable package can be simultaneously tested three different ways: as fastpay, ezpay, and flexipay. Each addresses three different accounts payable problems-speed, ease of use, and flexibility. Each landing page would be different, stressing the "ease of use" problem, for example. 

How to Test a Physical Product 

Start with at least 50 target customers--people you know directly. Next, expand the list by scouring your cofounders' and employees' address books, social-network lists, etc. Add names from friends, investors, founders, lawyers, recruiters, accountants, and more. 

In contrast with a product presentation, a problem presentation is designed to elicit information from customers. The presentation summarizes your hypotheses about customers' problems and about how they're solving the problem today. It also offers some potential solutions, to test whether your assumptions are correct. 

Hopefully you'll never get to use your presentation. Your goal is to get the customers to talk, not you. This is the biggest idea in Customer Development. Remember: You aren't trying to convince anyone you're right. You're there to listen. "Presenting" in this context really means inviting the customers' responses. So, after describing your assumed list of problems, pause and ask the customers what they think the problems are, whether you're missing any problems, how they would rank the problems, and which are must-solve rather than nice-to-solve. You've hit the jackpot when the customer tells you she will do anything to solve the problem. 

What if a customer tells you that the issues you thought were important really aren't? You've just obtained great data. While it may not be what you wanted to hear, it's wonderful to have that knowledge early on. 

Summarize this discussion by asking two questions: "What's the biggest pain in how you work? If you could wave a magic wand and change anything about what you do, what would it be?" (These are the "IPO questions." Understand the answers to these questions and your start-up is going public.) Casually ask, "How much does this problem cost you (in terms of lost revenue, lost customers, lost time, frustration, etc.)?"

Finally, introduce a taste of your proposed solution (not a set of features but only the big idea). Pause and watch the customers' reactions. Do they even understand what the words mean? Is the solution evident enough that they say, "If you could do that, all my problems would be solved?" Alternatively, do they say, "What do you mean?" Then do you have to explain it for 20 minutes and they still don't understand? Once again, the point is not to deliver a sales pitch but to get their reaction and a healthy discussion. 

Be Ready to Learn 

Some of your hypotheses might be shot down in flames in the first hour or two. For example, most entrepreneurs would change something if they invited 50 friends to an MVP "problem" page and not a single one clicked or signed up. Imagine your surprise if you bought a list of 1,000 mothers of toddlers and just three accepted your invitation to join toddlermom.com. 

In business-to-business companies, experience the customer at work, or at the very least observe it. Your goal should be to know the customer you're pursuing, and every aspect of his or her business, so deeply and intimately that they start to think of you and talk to you as if you were "one of them." 

After testing the customer problem (or need) and gaining a complete understanding of the customer, it's time to expose the product itself to potential customers for the first time. Not to sell to them but to get their feedback. We'll discuss that more in the next excerpt.

Inc.com

Read more »

6 cosas mal con lean startup

6 cosas mal con el modelo de "Lean Startup" (y qué hacer al respecto)

Eric Reis, fundador del movimiento Lean Startup
Estoy enfermo y cansado de oír hablar de "lean startups."
Sin ofender a Eric Ries, quien acuñó algunas frases dignos de Bingo muy corporativas ahora enredados en la cultura del valle Silicon (como pivote, producto mínimamente viable, y la innovación continua), pero hay un montón de cosas que creo que están equivocados - totalmente equivocado - con todo el concepto. Éstos son algunos de los problemas:

El modelo Lean Startup alienta características frente a los productos enteros

Silicon Valley está obsesionado con las empresas que se construyen en torno a una sola función, que atrae a un pequeño número de empresas que las adquieren. Piense en aplicaciones sociales de compras de Mertado adquirida por Groupon o resúmenes de redes sociales de Summify adquirido por Twitter. Es una epidemia. Pero los clientes, en lugar de la adquisición de empresas, necesitan productos enteros para resolver sus problemas.
Y al mismo tiempo, parece que muchos empresarios han interpretado el modelo Lean Startup como excusa para apresurar productos incompletos o fraccionada en el mercado. ¿El resultado? Montones y montones de empresas en torno a un puñado de características que le interesan a casi nadie, y menos a todos los clientes.

Prematuramente quema nuestro equipo

El ritmo de la innovación continuada en un modelo de MVP es desalentador para decir lo menos. Miren a Intuit SnapTax, que está probando 500 innovaciones en el período impositivo de dos y medio meses. Si no hacen las cuentas ya que ¡hacen 11 pruebas por día! Este ritmo es frenético y asegura que su equipo se le queme la cabeza.
Además, me parece una pérdida de tiempo para un desarrollador rockstar. Después de todo, las pruebas A/B, o su primo cercano de pruebas multi-variantes, es un animal conocido en estos días. En la práctica aquí en Bislr, encontramos que alrededor del 70 por ciento de las cosas que queremos probar en última instancia, no van a hacer una gran diferencia para el negocio. El verdadero espíritu empresarial se trata de averiguar lo que los grandes palancas del negocio y desarrollar un menor número de pruebas significativas alrededor de estas palancas conductoras.

Estos son productos difíciles de amar

Los clientes deben estar en pie de guerra cuando su aplicación favorita queda interrumpida, sin embargo, hay mucho menos quejas de lo que piensas. Los productos lean, por su propia definición, no profundizan. Se trata de productos que no son fáciles de amar, por lo que nos encontramos con empresas que los adquieren sólo a interrumpir de inmediato el producto o servicio.
Tal vez el gurú de tecnología Guy Kawasaki lo resumió lo mejor, cuando se le preguntó recientemente acerca de su toque de oro con los productos:
"Un gran producto es profundo. No se queda sin características ni funciones después de unas semanas de uso. A medida que sus demandas se vuelven más sofisticados, se descubre que no necesita un producto diferente".

Se devalúa la arquitectura

Las empresas que se centran en MVP suelen escatimar en la arquitectura, que sólo tiene sentido. Si usted no tiene tiempo para construir un producto entero también no va a hacer el tiempo para invertir en la arquitectura. Lamentablemente, ninguna decisión acerca de la arquitectura es una decisión que determinará su éxito o fracaso como empresa.
Montones y montones de empresas compitieron con Evernote en sus primeros días. Algunas capturas como aún estaba completa con una interfaz de usuario colorido. Pero la captura se ha ido. ¿Por qué? En una palabra : la arquitectura. Evernote construido un producto entero alrededor de que las personas puedan capturar, almacenar y recuperar sus recuerdos en internet. Arquitectónicamente, el producto ha sido desarrollado para escalar en productos múltiples y en un ecosistema vibrante que se dirige a los proveedores de software independientes para construir en la parte superior de la plataforma a través de un programa de Evernote llama " Trunk ".

Esto lleva a la discusión pasa en los inversores

Estoy a favor de las empresas en construcción que tienen varias estrategias de salida. La ruta de salida a bolsa no es adecuada para todas las empresas. Pero la construcción de una sociedad en torno a un puñado de características específicamente así que se puede adquiridas me parece simplemente errónea.
Si usted es uno de los fundadores, y luego vende antes de tiempo puede ser un camino hacia la rentabilidad extraordinarias, seguro. Pero es muy injusto para los ejecutivos, gerentes y contribuyentes individuales que trajo para el propósito específico de la construcción de la empresa a la grandeza.

Distorsiona modelo de contratación del Valle de maneras extrañas

Estoy pensando, por supuesto, de Nick D' Aloisio, de 17 años de edad, fundador de Summly que fue recientemente adquirida por Yahoo. Personalmente, no sé nada de Nick, pero sí sé que se cargó una tonelada de dinero de 30 millones dólares para pagar por un joven de 17 años de edad, como adquisición-contratación.
Nick también puede ser el desarrollador más talentosos del planeta (incluso si su lóbulo frontal no está completamente desarrollado todavía), pero ¿cómo vamos a obtener el próximo Dropbox o Evernote si tenemos talento como el de la circulación de Nick antes de tiempo? Creo que tanto Nick y su compañía se habrían beneficiado de más tiempo como una compañía independiente para crecer en grandeza.

Entonces, ¿cuál es la alternativa?

Tome el modelo MVP con un grano de sal. La mayoría de las veces, cabe en la primera fase del ciclo de vida de la empresa, cuando el dinero es escaso y el tiempo de comercialización es todo. Mantenga la iteración, pero no de una manera que somete a su equipo al riesgo de burnout. Construya su negocio a la última, no dar la vuelta a la primera empresa que se llama.
Y cuando se acercó por una empresa más grande interesada en " adqui - contratación " que usted y su equipo, se pregunta si realmente vale la pena. Se trata de acuerdos que no va a construir valor y tienen el potencial para destruirlo.

Venture Beat

Read more »

¿Que son las pruebas A/B?

What is A/B Testing?

A/B testing (sometimes called split testing) is comparing two versions of a web page to see which one performs better. You compare two web pages by showing the two variants (let's call them A and B) to similar visitors at the same time. The one that gives a better conversion rate, wins!

All websites on the web have a goal - a reason for them to exist.

• eCommerce websites want visitors buying products
• SaaS web apps want visitors signing up for a trial and converting to paid visitors
• News and media websites want readers to click on ads or sign up for paid subscriptions

Every business website wants visitors converting from just visitors to something else. The rate at which a website is able to do this is its "conversion rate". Measuring the performance of a variation (A or B) means measuring the rate at which it converts visitors to goal achievers.

Visual Web Optimizer

Read more »

Pruebas A/B sin desvío estándar y como solucionarlas

A/B Testing Duration Data

By Evan Miller

Let's say you make a change to your website and want to test whether people tend to stay on the site longer after the change.

You might think: that's easy! I'll just compare the average visit lengths before and after the change and then I'll have my answer.

Readers of this blog are, of course, savvier than that; they know they should perform a proper statistical test to determine if a reported difference could be due to chance.

But there's a problem. When comparing two continuous quantities (such as visit durations), the usual statistical test is the two sample t-test. A t-test requires three key pieces of information from each test group: the number of subjects, the sample mean, and the standard deviation.

Unfortunately, many reporting tools only report the mean and count; the standard deviation is apparently an ugly duckling that no one wants to talk about. For example, here's a screenshot from a Google Analytics dashboard:

It's a shame that the standard deviation has been left out here, because it renders a proper t-test impossible.

But that shouldn't stop you from applying some math to the problem. With a simple and fairly reasonable assumption, you can arrive at an answer to report to the Big Boss.

Here's the assumption: the probability of a visitor leaving the site at any given moment is constant.

It's not a perfect assumption, as perhaps you have advertising copy with a few extremely engaging passages that no one would ever leave while reading. But it's not a bad place to start.

That one assumption — sometimes called memorylessness — implies that the lengths of visits will follow an exponential distribution.

The nifty part about the exponential distribution is that its variance is always equal to the square of its mean. That means to perform a two-sample t-test, you just take the standard deviation to be the same as the mean. So if one group stays on the site an average of 62 seconds, you can take 62 seconds to be the standard deviation as well.

As an example, I've plugged in the numbers from that Google Analytics page here. (It quickly becomes clear that Americans spend more time on the example site than their British counterparts.)

Because the Big Boss might not understand the finer points exponential distributions, I've also created a dedicated Survival Times Tool. Type in the number of visitors in each group, and the average length of visit, and it will tell whether either group is sticking around longer in a statistically significant way. The tool also constructs confidence intervals around the mean for your viewing pleasure.

Of course, this tool shouldn't stop you from telling your in-house programmers to please report thestandard deviation whenever they report an average. An assumption can go a long way, but it's never a good substitute for data.

---

You're reading evanmiller.org, a random collection of math, tech, and musings. You might also enjoy these articles:

• How Not To Run an A/B Test
• Lazy Assignment and A/B Testing

...and don't miss my collection of Awesome A/B Tools:

EvanMiller.org

Read more »

Cómo nunca correr una prueba A/B...

How Not To Run An A/B Test

By Evan Miller

If you run A/B tests on your website and regularly check ongoing experiments for significant results, you might be falling prey to what statisticians call repeated significance testing errors. As a result, even though your dashboard says a result is statistically significant, there’s a good chance that it’s actually insignificant. This note explains why.

Background

When an A/B testing dashboard says there is a “95% chance of beating original” or “90% probability of statistical significance,” it’s asking the following question: Assuming there is no underlying difference between A and B, how often will we see a difference like we do in the data just by chance? The answer to that question is called the significance level, and “statistically significant results” mean that the significance level is low, e.g. 5% or 1%. Dashboards usually take the complement of this (e.g. 95% or 99%) and report it as a “chance of beating the original” or something like that.

However, the significance calculation makes a critical assumption that you have probably violated without even realizing it: that the sample size was fixed in advance. If instead of deciding ahead of time, “this experiment will collect exactly 1,000 observations,” you say, “we’ll run it until we see a significant difference,” all the reported significance levels become meaningless. This result is completely counterintuitive and all the A/B testing packages out there ignore it, but I’ll try to explain the source of the problem with a simple example.

Example

Suppose you analyze an experiment after 200 and 500 observations. There are four things that could happen:

	Scenario 1	Scenario 2	Scenario 3	Scenario 4
After 200 observations	Insignificant	Insignificant	Significant!	Significant!
After 500 observations	Insignificant	Significant!	Insignificant	Significant!
End of experiment	Insignificant	Significant!	Insignificant	Significant!

Assuming treatments A and B are the same and the significance level is 5%, then at the end of the experiment, we’ll have a significant result 5% of the time.

But suppose we stop the experiment as soon as there is a significant result. Now look at the four things that could happen:

	Scenario 1	Scenario 2	Scenario 3	Scenario 4
After 200 observations	Insignificant	Insignificant	Significant!	Significant!
After 500 observations	Insignificant	Significant!	trial stopped	trial stopped
End of experiment	Insignificant	Significant!	Significant!	Significant!

The first row is the same as before, and the reported significance levels after 200 observations are perfectly fine. But now look at the third row. At the end of the experiment, assuming A and B are actually the same, we’ve increased the ratio of significant relative to insignificant results. Therefore, the reported significance level – the “percent of the time the observed difference is due to chance” – will be wrong.

How big of a problem is this?

Suppose your conversion rate is 50% and you want to test to see if a new logo gives you a conversion rate of more than 50% (or less). You stop the experiment as soon as there is 5% significance, or you call off the experiment after 150 observations. Now suppose your new logo actually does nothing. What percent of the time will your experiment wrongly find a significant result? No more than five percent, right? Maybe six percent, in light of the preceding analysis?

Try 26.1% – more than five times what you probably thought the significance level was. This is sort of a worst-case scenario, since we’re running a significance test after every observation, but it’s not unheard-of. At least one A/B testing framework out there actually provides code for automatically stopping experiments after there is a significant result. That sounds like a neat trick until you realize it’s a statistical abomination.

Repeated significance testing always increases the rate of false positives, that is, you’ll think many insignificant results are significant (but not the other way around). The problem will be present if you ever find yourself “peeking” at the data and stopping an experiment that seems to be giving a significant result. The more you peek, the more your significance levels will be off. For example, if you peek at an ongoing experiment ten times, then what you think is 1% significance is actually just 5% significance. Here are other reported significance values you need to see just to get an actual significance of 5%:

You peeked...	To get 5% actual significance you need...
1 time	2.9% reported significance
2 times	2.2% reported significance
3 times	1.8% reported significance
5 times	1.4% reported significance
10 times	1.0% reported significance

Decide for yourself how big a problem you have, but if you run your business by constantly checking the results of ongoing A/B tests and making quick decisions, then this table should give you goosebumps.

What can be done?

If you run experiments: the best way to avoid repeated significance testing errors is to not test significance repeatedly. Decide on a sample size in advance and wait until the experiment is over before you start believing the “chance of beating original” figures that the A/B testing software gives you. “Peeking” at the data is OK as long as you can restrain yourself from stopping an experiment before it has run its course. I know this goes against something in human nature, so perhaps the best advice is: no peeking!

Since you are going to fix the sample size in advance, what sample size should you use? This formula is a good rule of thumb:

n=16σ2δ2

Where δ is the minimum effect you wish to detect and σ2 is the sample variance you expect. Of course you might not know the variance, but if it’s just a binomial proportion you’re calculating (e.g. a percent conversion rate) the variance is given by:

σ2=p×(1−p)

Committing to a sample size completely mitigates the problem described here.

UPDATE, May 2013: You can see this formula in action with my new interactive Sample Size Calculator. Enter the effect size you wish to detect, set the power and significance levels, and you'll get an easy-to-read number telling you the sample size you need. END OF UPDATE

If you write A/B testing software: Don’t report significance levels until an experiment is over, and stop using significance levels to decide whether an experiment should stop or continue. Instead of reporting significance of ongoing experiments, report how large of an effect can be detected given the current sample size. That can be calculated with:

Where the two t’s are the t-statistics for a given significance level α/2 and power (1−β).

Painful as it sounds, you may even consider excluding the “current estimate” of the treatment effect until the experiment is over. If that information is used to stop experiments, then your reported significance levels are garbage.

If you really want to do this stuff right: Fixing a sample size in advance can be frustrating. What if your change is a runaway hit, shouldn’t you deploy it immediately? This problem has haunted the medical world for a long time, since medical researchers often want to stop clinical trials as soon as a new treatment looks effective, but they also need to make valid statistical inferences on their data. Here are a couple of approaches used in medical experiment design that someone really ought to adapt to the web:

• Sequential experiment design: Sequential experiment design lets you set up checkpoints in advance where you will decide whether or not to continue the experiment, and it gives you the correct significance levels.
• Bayesian experiment design: With Bayesian experiment design you can stop your experiment at any time and make perfectly valid inferences. Given the real-time nature of web experiments, Bayesian design seems like the way forward.

Conclusion

Although they seem powerful and convenient, dashboard views of ongoing A/B experiments invite misuse. Any time they are used in conjunction with a manual or automatic “stopping rule,” the resulting significance tests are simply invalid. Until sequential or Bayesian experiment designs are implemented in software, anyone running web experiments should only run experiments where the sample size has been fixed in advance, and stick to that sample size with near-religious discipline.

---

Further reading

Repeated Significance Tests

P. Armitage, C. K. McPherson, and B. C. Rowe. “Significance Tests on Accumulating Data,” Journal of the Royal Statistical Society. Series A (General), Vol. 132, No. 2 (1969), pp. 235-244

Optimal Sample Sizes

John A. List, Sally Sadoff, and Mathis Wagner. “So you want to run an experiment, now what? Some Simple Rules of Thumb for Optimal Experimental Design.” NBER Working Paper No. 15701

Wheeler, Robert E. “Portable Power,” Technometrics, Vol. 16, No. 2 (May, 1974), pp. 193-201

Sequential Experiment Design

Pocock, Stuart J. “Group Sequential Methods in the Design and Analysis of Clinical Trials,” Biometrika, Vol. 64, No. 2 (Aug., 1977), pp. 191-199

Pocock, Stuart J. “Interim Analyses for Randomized Clinical Trials: The Group Sequential Approach,”Biometrics, Vol. 38, No. 1 (Mar., 1982), pp. 153-162

Bayesian Experiment Design

Berry, Donald A. “Bayesian Statistics and the Efficiency and Ethics of Clinical Trials,” Statistical Science, Vol. 19, No. 1 (Feb., 2004), pp. 175-187

EvanMiller.org

Read more »