{"id":8605,"date":"2023-05-26T11:04:53","date_gmt":"2023-05-26T11:04:53","guid":{"rendered":"http:\/\/www.movimientocaamanista.com\/?p=8605"},"modified":"2023-05-26T11:04:55","modified_gmt":"2023-05-26T11:04:55","slug":"la-carrera-armamentistica-en-superinteligencia-estamos-ganando","status":"publish","type":"post","link":"http:\/\/www.movimientocaamanista.com\/?p=8605","title":{"rendered":"La carrera armament\u00edstica en superinteligencia, \u00bfestamos ganando?"},"content":{"rendered":"\n<p>Marcos Guglielmetti<\/p>\n\n\n\n<p>Fuente: <a href=\"https:\/\/rebelion.org\/la-carrera-armamentistica-en-superinteligencia-estamos-ganando\/\">Rebeli\u00f3n<\/a><\/p>\n\n\n\n<p>La carrera por la creaci\u00f3n de una superinteligencia nivel Dios est\u00e1 fuera de control, y grandes empresas est\u00e1n compitiendo para crear<strong>&nbsp;sistemas de Inteligencia Artificial General&nbsp;<\/strong>(IAG) cada vez m\u00e1s complejos sin prestar suficiente atenci\u00f3n a los riesgos que estos conllevan.<\/p>\n\n\n\n<p><em>Aclaraci\u00f3n:&nbsp;<a href=\"https:\/\/www.tribunahacker.com.ar\/por-que-generalizamos-en-femenino\/\" target=\"_blank\" rel=\"noreferrer noopener\">Si bien Tribuna Hacker se ha caracterizado desde sus inicios por generalizar en femenina con el \u00e1nimo de marcar constantemente que el lenguaje tiene una carga ideol\u00f3gica<\/a>, a criterio de Marcos, esta nota se tiene que generalizar en masculino, de esa forma la reproducimos.<\/em><\/p>\n\n\n\n<p>La carrera tecnol\u00f3gica para desarrollar una Inteligencia Artificial General (AGI por sus siglas en ingl\u00e9s) o mejor dicho una&nbsp;<strong>superinteligencia nivel Dios<\/strong>&nbsp;est\u00e1 fuera de control. Grandes compa\u00f1\u00edas privadas han comenzado una competencia acelerada por crear sistemas de IA cada vez m\u00e1s complejos sin prestar suficiente atenci\u00f3n a los riesgos que estos conllevan.<\/p>\n\n\n\n<p>Estamos hablando de inteligencias artificiales que podr\u00edan&nbsp;<strong>superar largamente en capacidades intelectuales a la mente humana<\/strong>, con consecuencias potencialmente catastr\u00f3ficas si no se implementan salvaguardas adecuadas. A nadie le importar\u00e1 que nunca m\u00e1s podamos ganar un partido de ajedrez a una m\u00e1quina, es algo que hemos aceptado, pero nos lamentar\u00edamos mucho si un desarrollo tecnol\u00f3gico se fuera de control y terminara con la vida en la tierra.<\/p>\n\n\n\n<p>El dilema en el que nos encontramos es similar a una carrera armament\u00edstica: cada empresa intenta ser la primera en alcanzar una superinteligencia, sin casi importar los costos para la seguridad global. Estamos ante una&nbsp;<a rel=\"noreferrer noopener\" href=\"http:\/\/tomasini-bassols.com\/?p=829\" target=\"_blank\">situaci\u00f3n de \u201cMolloc\u201d<\/a>, donde&nbsp;<strong>toda la sociedad pierde en pos de una victoria vac\u00eda<\/strong>. Nuestra sociedad en su conjunto podr\u00eda sufrir&nbsp;<strong>da\u00f1os irreparables<\/strong>&nbsp;si no se ponen l\u00edmites a esta competencia irresponsable.<\/p>\n\n\n\n<figure class=\"wp-block-image\"><img decoding=\"async\" src=\"https:\/\/www.tribunahacker.com.ar\/wp-content\/uploads\/2023\/04\/Tipos-de-inteligencia-artificial.jpg\" alt=\"Tipos de inteligencia artificial\" class=\"wp-image-23768\"\/><\/figure>\n\n\n\n<p>Un grupo de eminentes pensadores ha llamado la atenci\u00f3n sobre estos riesgos en una&nbsp;<a rel=\"noreferrer noopener\" href=\"https:\/\/dialektika.org\/2023\/03\/30\/carta-abierta-sobre-inteligencia-artificial-pongamos-pausa-experimentos\/\" target=\"_blank\">carta abierta<\/a>&nbsp;titulada \u201cPongamos en pausa los experimentos con IA a gran escala\u201d. Firmada por personalidades como Elon Musk, Max Tegmark y Stuart Russell, alerta que los avances en modelos de lenguaje como GPT-4 son indicadores de que la superinteligencia podr\u00eda estar m\u00e1s cerca de lo anticipado. Piden un alto de seis meses en la investigaci\u00f3n de IA para trabajar en salvaguardas. \u00bfPor qu\u00e9 seis meses? Tegmark explic\u00f3 recientemente en una de sus tantas entrevistas que seis meses no permitir\u00edan tampoco a China adelantarse tanto en el asunto al nivel de crear algo verdaderamente peligroso. Por otro lado, el Partido Comunista chino sabe que no podr\u00eda controlar una AGI (al menos no actualmente con el conocimiento de avanzada al cual hemos llegado) y eso est\u00e1 fuera de sus planes.<\/p>\n\n\n\n<p><a rel=\"noreferrer noopener\" href=\"https:\/\/twitter.com\/sama\" target=\"_blank\">Sam Altman<\/a>, presidente de OpenAI, admiti\u00f3 recientemente que&nbsp;<strong>GPT-5 no se encuentra a\u00fan en desarrollo<\/strong>&nbsp;(\u00bfle creemos?). Sin embargo, modelos anteriores como GPT-4 y Claude+ ya muestran capacidades preocupantes, como generar textos coherentes, programar y mejorar un software (\u00a1lo m\u00e1s preocupante!) o incluso ayudar en tareas cient\u00edficas y superar con excelentes notas ex\u00e1menes complejos&nbsp;<strong>a nivel universitario<\/strong>. Si no logramos alinearlos correctamente con nuestros valores antes de alcanzar una superinteligencia, sus objetivos podr\u00edan volverse contrarios a los intereses humanos.<\/p>\n\n\n\n<p><strong>Debemos exigir regulaciones sobre IA, igual que sobre otras tecnolog\u00edas que representan amenazas existenciales<\/strong>. La historia est\u00e1 plagada de ejemplos donde la falta de l\u00edmites a la competencia destructiva ha llevado a sociedades a su ruina. Por ejemplo, la carrera armament\u00edstica nuclear entre EE.UU. y la URSS que estuvo al borde de la destrucci\u00f3n del planeta. O la competencia extractivista desmedida entre las grandes potencias que&nbsp;<strong>ha devastado recursos naturales e irreversiblemente alterado ecosistemas<\/strong>. No podemos permitir que esto suceda con una carrera armament\u00edstica de superinteligencias. El futuro de la humanidad est\u00e1 en juego. Un mundo desalineado crear\u00e1 una IA desalineada con la vida que a su vez descarrilar\u00e1 m\u00e1s a\u00fan al mundo.<\/p>\n\n\n\n<p>La alineaci\u00f3n de AGI es crucial para evitar consecuencias catastr\u00f3ficas. Un ejemplo de lo poco que sabemos sobre estas inteligencias se puede encontrar en&nbsp;<a href=\"https:\/\/youtu.be\/ps_CCGvgLS8?t=1277\" rel=\"noreferrer noopener\" target=\"_blank\">un video de Connor Leahy<\/a>, donde describe&nbsp;<strong>el modelo de lenguaje base<\/strong>&nbsp;como un pulpo alien\u00edgena gigante que interact\u00faa con nosotros a trav\u00e9s de una peque\u00f1a m\u00e1scara sonriente.&nbsp;<strong>La m\u00e1scara sonriente es lo que conocemos de Bing o ChatGPT<\/strong>, el resto de lo que se encuentra dentro de la caja negra del Modelo de Lenguaje es desconocido para toda la gente, incluso para OpenAI o Microsoft. Es una matriz de datos de n\u00fameros de punto flotante inescrutable, tal como afirma Eliezer Yudkowsky: la mente humana no puede abarcarla, con lo cual se necesitar\u00eda otra IA para llegar a interpretarla y controlarla de alg\u00fan modo, en el contexto de una estrategia con \u201ccajas blancas\u201d (software que sabemos lo que hace) y cajas negras (la \u201cmagia\u201d actual).<\/p>\n\n\n\n<p>Por otro lado, hablando de las IAs que ya est\u00e1n entre nosotros: \u00bfPor qu\u00e9 deber\u00edamos dejar en manos de las m\u00e1quinas tareas intelectuales que han sido esencialmente humanas desde hace siglos? \u00bfSeremos tan c\u00ednicos de acabar con todo negocio imaginativo redituable en el mundo del dibujo, la pl\u00e1stica, el dise\u00f1o, la arquitectura, la escritura, la m\u00fasica, la imaginaci\u00f3n? \u00bfNos queremos tan poco como especie como para poner en manos de aliens superinteligentes toda nuestra creaci\u00f3n art\u00edstica e intelectual? Dir\u00e1n que, desde ahora en adelante, el arte vinculado a los negocios y al&nbsp;<a href=\"https:\/\/www.tribunahacker.com.ar\/2023\/04\/inteligencia-artificial-skynet\/\"><strong>rendimiento ser\u00e1 hecho por IA<\/strong><\/a>, y el arte bohemio (digamos, el verdadero arte) ser\u00e1 humano, pero: \u00bfes este realmente un escenario que hemos decidido como sociedad? \u00bfO ha sido decidido por unos pocos tecn\u00f3cratas? Por este motivo es que en las altas esferas del poder capitalista se propone el Ingreso B\u00e1sico Universal: no por haberse vuelto comunistas de la noche a la ma\u00f1ana, sino porque no piensan detener el avance de la IA en todos los rubros de la sociedad.<\/p>\n\n\n\n<figure class=\"wp-block-image\"><img decoding=\"async\" src=\"https:\/\/i.ytimg.com\/vi\/5fdOoMBRV4o\/hqdefault.jpg\" alt=\"\"\/><\/figure>\n\n\n\n<p>La carta del Institute of Life ha tenido un impacto positivo al arrojar luz sobre los riesgos asociados con la inteligencia nivel Dios y la necesidad de abordarlos antes de seguir avanzando en su desarrollo. La alineaci\u00f3n de una AGI es un tema cr\u00edtico que debe considerarse junto con la alineaci\u00f3n de otros factores de la sociedad, como las grandes empresas, las pol\u00edticas p\u00fablicas y los l\u00edmites en la competencia negativa o Molloc.<\/p>\n\n\n\n<p>El aprendizaje de las lecciones hist\u00f3ricas y la colaboraci\u00f3n entre gobiernos, empresas y la comunidad cient\u00edfica son fundamentales para garantizar un futuro seguro y pr\u00f3spero en un mundo donde superinteligencias y otras tecnolog\u00edas avanzadas juegan un papel cada vez m\u00e1s importante.<\/p>\n\n\n\n<h2 class=\"wp-block-heading\" id=\"mas-recursos\">M\u00e1s recursos<\/h2>\n\n\n\n<ul><li>AGI Ruin 101: Background \u201cIn which Matt and Vaniver go section by section through Eliezer Yudkowsy\u2019s \u201cAGI Ruin: A List of Lethalities\u201dIn this video: A detour from Eliezer\u2019s list to talk about some background.\u201d<\/li><\/ul>\n\n\n\n<figure class=\"wp-block-image\"><img decoding=\"async\" src=\"https:\/\/i.ytimg.com\/vi\/ybDr_sQTfXY\/hqdefault.jpg\" alt=\"\"\/><\/figure>\n\n\n\n<ul><li>El dilema de la IA \u201cTristan Harris and Aza Raskin discuss how existing A.I. capabilities already pose catastrophic risks to a functional society, how A.I. companies are caught in a race to deploy as quickly as possible without adequate safety measures, and what it would mean to upgrade our institutions to a post-A.I. world.This presentation is from a private gathering in San Francisco on March 9th with leading technologists and decision-makers with the ability to influence the future of large-language model A.I.s. This presentation was given before the launch of GPT-4. We encourage viewers to consider calling their political representatives to advocate for holding hearings on AI risk and creating adequate guardrails.\u201d<\/li><\/ul>\n\n\n\n<figure class=\"wp-block-image\"><img decoding=\"async\" src=\"https:\/\/i.ytimg.com\/vi\/xoVJKj8lcNQ\/hqdefault.jpg\" alt=\"\"\/><\/figure>\n\n\n\n<ul><li>IA como aceleradora de todos los males del sistema econ\u00f3mico global \u201cA deep dive into the game theory and exponential growth underlying our modern economic system, and how recent advancements in AI are poised to turn up the pressure on that system, and its wider environment, in ways we have never seen before. Not a conversation for the faint hearted, but crucial nonetheless. Daniel Schmachtenberger is a founding member of The Consilience Project, aimed at improving public sensemaking and dialogue around global catastrophic risks and technology.\u201d<\/li><\/ul>\n\n\n\n<figure class=\"wp-block-image\"><img decoding=\"async\" src=\"https:\/\/i.ytimg.com\/vi\/KCSsKV5F4xc\/hqdefault.jpg\" alt=\"\"\/><\/figure>\n\n\n\n<ul><li>AGI and cognitive emulation (el modelo de lenguaje puro es como un pulpo alien\u00edgena gigante donde no sabemos qu\u00e9 pasa, e interact\u00faa a trav\u00e9s de una peque\u00f1a m\u00e1scara sonriente con nosotros.) Connor Leahy joins the podcast to discuss GPT-4, magic, cognitive emulation, demand for human-like AI, and aligning superintelligence. You can read more about Connor\u2019s work at https:\/\/conjecture.dev<\/li><\/ul>\n\n\n\n<figure class=\"wp-block-image\"><img decoding=\"async\" src=\"https:\/\/i.ytimg.com\/vi\/ps_CCGvgLS8\/hqdefault.jpg\" alt=\"\"\/><\/figure>\n\n\n\n<ul><li><a href=\"https:\/\/www.huffpost.com\/entry\/artificial-intelligence_b_5174265\">Transcending Complacency on Superintelligent Machines, By Stephen Hawking, Max Tegmark, and Stuart Russell<\/a><\/li><li>10 Reasons to Ignore AI Safety \u201cWhy do some ignore AI Safety? Let\u2019s look at 10 reasons people give (adapted from Stuart Russell\u2019s list).\u201d<\/li><\/ul>\n\n\n\n<figure class=\"wp-block-image\"><img decoding=\"async\" src=\"https:\/\/i.ytimg.com\/vi\/9i1WlcCudpU\/hqdefault.jpg\" alt=\"\"\/><\/figure>\n\n\n\n<ul><li>Max Tegmark interview: Six months to save humanity from AI? | DW Business Special \u201cA leading expert in artificial intelligence warns that the race to develop more sophisticated models is outpacing our ability to regulate the technology. Critics say his warnings overhype the dangers of new AI models like GPT. But MIT professor Max Tegmark says private companies risk leading the world into dangerous territory without guardrails on their work. His Institute of Life issued a letter signed by tech luminaries like Elon Musk warning Silicon Valley to immediately stop work on AI for six months to unite on a safe way forward. Without that, Tegmark says, the consequences could be devastating for humanity.\u201d<\/li><\/ul>\n\n\n\n<figure class=\"wp-block-image\"><img decoding=\"async\" src=\"https:\/\/i.ytimg.com\/vi\/ewvpaXOQJoU\/hqdefault.jpg\" alt=\"\"\/><\/figure>\n\n\n\n<ul><li>\u2018We Must Slow Down the Race\u2019 \u2013 X AI, Musk, GPT 4 Can Now Do Science &amp; Altman GPT 5 Statement \u201cStarting with the viral FT article \u2018We must slow down the race to God-like AI\u2019 I cover all the week\u2019s major developments, and delve deeper into the world of AI alignment. Topics include Musk\u2019s new AI company X.AI, a bit of his history with OpenAI, Sam Altman\u2019s new comments on GPT 5, and more from the AI Dilemma on whether China will catch up. I also cover two new papers that showcase how GPT 4 can be used to conduct bio-chemical scientific protocols and how this could be used and misused. I bring in Rob Miles to explain why putting a superintelligence on an island might not work out, and cover some of the behind the scenes of Sam Altman\u2019s draft version of his plan for AGI. \u201c&nbsp;<a href=\"https:\/\/www.ft.com\/content\/03895dc4-a3b7-481e-95cc-336a524f2ac2\" rel=\"noreferrer noopener\" target=\"_blank\">https:\/\/www.ft.com\/content\/03895dc4-a3b7-481e-95cc-336a524f2ac2<\/a><\/li><\/ul>\n\n\n\n<figure class=\"wp-block-image\"><img decoding=\"async\" src=\"https:\/\/i.ytimg.com\/vi\/qOoe3ZpciI0\/hqdefault.jpg\" alt=\"\"\/><\/figure>\n\n\n\n<ul><li>Sam Altman and Lex Fridman Round 2 \u201cToday at MIT: Sam Altman (OpenAI) responds ro the open letter calling for a 6 month halt on AI research. Also, spoiler alert: they are not working on GPT5 yet \u201d Se confirma que GPT 5 a\u00fan no est\u00e1 en desarrollo, pero existen dudas al respecto.<\/li><\/ul>\n\n\n\n<figure class=\"wp-block-image\"><img decoding=\"async\" src=\"https:\/\/i.ytimg.com\/vi\/4ykiaR2hMqA\/hqdefault.jpg\" alt=\"\"\/><\/figure>\n","protected":false},"excerpt":{"rendered":"<p>Marcos Guglielmetti Fuente: Rebeli\u00f3n La carrera por la creaci\u00f3n de una superinteligencia nivel Dios est\u00e1 fuera de control, y grandes empresas est\u00e1n compitiendo para crear&nbsp;sistemas de Inteligencia Artificial General&nbsp;(IAG) cada vez m\u00e1s complejos sin prestar suficiente atenci\u00f3n a los riesgos que estos conllevan. Aclaraci\u00f3n:&nbsp;Si bien Tribuna Hacker se ha caracterizado desde sus inicios por generalizar [&hellip;]<\/p>\n","protected":false},"author":1,"featured_media":8245,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[5,3],"tags":[],"_links":{"self":[{"href":"http:\/\/www.movimientocaamanista.com\/index.php?rest_route=\/wp\/v2\/posts\/8605"}],"collection":[{"href":"http:\/\/www.movimientocaamanista.com\/index.php?rest_route=\/wp\/v2\/posts"}],"about":[{"href":"http:\/\/www.movimientocaamanista.com\/index.php?rest_route=\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"http:\/\/www.movimientocaamanista.com\/index.php?rest_route=\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"http:\/\/www.movimientocaamanista.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcomments&post=8605"}],"version-history":[{"count":1,"href":"http:\/\/www.movimientocaamanista.com\/index.php?rest_route=\/wp\/v2\/posts\/8605\/revisions"}],"predecessor-version":[{"id":8606,"href":"http:\/\/www.movimientocaamanista.com\/index.php?rest_route=\/wp\/v2\/posts\/8605\/revisions\/8606"}],"wp:featuredmedia":[{"embeddable":true,"href":"http:\/\/www.movimientocaamanista.com\/index.php?rest_route=\/wp\/v2\/media\/8245"}],"wp:attachment":[{"href":"http:\/\/www.movimientocaamanista.com\/index.php?rest_route=%2Fwp%2Fv2%2Fmedia&parent=8605"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"http:\/\/www.movimientocaamanista.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcategories&post=8605"},{"taxonomy":"post_tag","embeddable":true,"href":"http:\/\/www.movimientocaamanista.com\/index.php?rest_route=%2Fwp%2Fv2%2Ftags&post=8605"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}