![\"IMAGE:](\"https:\/\/www.enriquedans.com\/wp-content\/uploads\/2023\/12\/Chevy-Tahoe-for-1-1024x809.jpg\")
<\/figure>\n<\/div>\nChris Bakke<\/a> publica en X una captura de pantalla<\/a> en la que muestra c\u00f3mo, mediante una prompt injection<\/em> muy sencilla, consigui\u00f3 que un chatbot<\/em> de servicio al cliente de Chevrolet le vendiese un Chevrolet Tahoe \u00faltimo modelo por un d\u00f3lar, y dijese adem\u00e1s que se trataba de una oferta legalmente vinculante.<\/p>\n Obviamente, la marca no va a llevar a cabo la operaci\u00f3n, pero la captura, que Bakke llev\u00f3 a cabo tras darse cuenta de que el chatbot<\/em> en cuesti\u00f3n era una simple adaptaci\u00f3n de ChatGPT 3, es una buena prueba de concepto que demuestra que si una marca quiere sustituir todos o parte de sus procesos de servicio al cliente mediante un chatbot<\/em> gestionado mediante un algoritmo generativo, es muy posible que la tecnolog\u00eda no est\u00e9 a\u00fan suficientemente madura.<\/p>\n La cuesti\u00f3n es evidente: si dise\u00f1as un chatbot<\/em> para tomar cualquier frase tecleada por un supuesto cliente mediante un algoritmo generativo, es muy dif\u00edcil evitar que ese algoritmo generativo, al procesar la frase en cuesti\u00f3n, no se limite a procesar la informaci\u00f3n y responder, sino que tambi\u00e9n pueda interpretarla como condicionantes para futuras conversaciones en ese hilo. En sus experimentos con el chatbot<\/em> de Chevrolet, Chris Bakke consigui\u00f3, por ejemplo, que la compa\u00f1\u00eda, supuestamente, le ofreciese un dos por uno en todos sus veh\u00edculos o que llegase incluso a venderle un Tesla.<\/p>\n La prompt injection<\/em> es, simplemente, una familia de exploits<\/em> de seguridad que tienen lugar cuando un algoritmo que fue capacitado para seguir instrucciones dadas por humanos, recibe esas instrucciones de un usuario malintencionado que pretende manipular sus respuestas. Mediante prompt injection<\/em> se han conseguido todo tipo de respuestas, incluidos por ejemplo detalles sobre el entrenamiento de determinados algoritmos.<\/p>\n Separar los \u00e1mbitos de administraci\u00f3n y de servicio es, en este tipo de entornos, bastante dif\u00edcil, y tratar de prevenir ataques de prompt injection<\/em> es, dada la enorme diversidad posible con la que pueden producirse, una tarea que se plantea como casi ilimitada y que, adem\u00e1s, es susceptible de condicionar respuestas a muchos otros intercambios que podr\u00edan ser genuinos, debilitando por tanto las posibilidades del chatbot<\/em>.<\/p>\n Por otro lado, la posibilidad de recurrir a un chatbot<\/em> de este tipo es muy atractiva, y de hecho, fue una de las primeras funcionalidades con las que se comenz\u00f3 a especular tras la aparici\u00f3n de ChatGPT a finales de noviembre de 2022: en la era del servicio 24\u00d77 a trav\u00e9s de interfaces web, tener a un equipo de personas contestando en tiempo real las posibles dudas y preguntas de los clientes resulta costoso y complejo, pero retrasar la contestaci\u00f3n a esas preguntas puede, en muchos casos, costar una venta o generar un problema, porque los propios clientes demandan ese servicio de manera pr\u00e1cticamente inmediata.<\/p>\n Pero por otro lado, a medida que este tipo de interfaces y algoritmos se hacen m\u00e1s populares y su uso se extiende en todo tipo de entornos, cabe esperar que las habilidades generales para llevar a cabo trucos como la prompt injection<\/em> y similares vayan mejorando entre la poblaci\u00f3n, lo que podr\u00eda desencadenar todo tipo de situaciones que las marcas, muy posiblemente, preferir\u00edan evitar. Como siempre, cabe esperar que veamos una carrera entre los ingenieros que intentan prevenir todo tipo de actuaciones de este tipo conceptualizadas como ataques, y el ingenio colectivo de quienes los dise\u00f1an.<\/p>\n Por el momento, el consejo parece claro: antes de automatizar completamente tu servicio al cliente con un algoritmo generativo, preoc\u00fapate de plantearte en manos de qui\u00e9n est\u00e1s dejando una interacci\u00f3n tan posiblemente valiosa, y por las posibles consecuencias reputacionales de ver supuestamente a tu marca contestando\u2026 vete t\u00fa a saber qu\u00e9!<\/p>\n<\/div>\n