The California Assembly has overwhelmingly passed a bill that would introduce new regulations for AI. The bill, which could set national standards for regulating artificial intelligence (AI), is now up to California's governor to approve or veto.

The AI Safety Act would require companies to ensure that their technology does not cause significant harm to society.

The debate over the bill continues as the deadline (30 Sep) approaches. Supporters of the bill argue that it is the "minimum safeguards for safe AI," while opponents worry that it will stifle AI advancement and the emergence of new startups. At the same time, AI development tech companies like OpenAI, Y Combinator, Andreessen Horowitz, and others have hired lobbyists to fight the bill.

On August 29, 2024, the state legislature approved a bill (SB1047) that would force AI companies to test their systems for safety before making them available to the public.

The testing would have to be done by a third party. SB 1047 requires companies that develop powerful AI models to take "reasonable care" to ensure that the technology does not cause "serious harm," such as mass casualties or property damage of $500 million or more.  

The bill also mandates preventative measures, such as requiring companies to create kill switches that can stop the application of AI technology at any time.  

It includes protections for whistleblowers who disclose safety concerns. The bill gives state attorneys general the authority to sue companies that fail to comply with the bill, including AI manufacturers, for severe harm, such as death or property damage caused by AI technology.

It is not yet known if California Governor Gavin Newsom will approve the bill.  As per procedure, Newsom has until September 30 to approve or veto the bill. The bill is due to take effect on Jan. 1, 2026.

Lobbying from big tech executives, venture capitalists, academics, and federal lawmakers is already underway, with pressure from big tech companies to veto the bill. But Newsom hasn't said exactly where he stands.

This AI regulation vs. promotion vs. protection debate is bound to continue in the 22nd National Defense Committee of the 22nd National Assembly of Korea.

캘리포니아 의회가 AI에 대한 새로운 규제를 도입하는 법안을 압도적인 표차로 통과시켰다. 인공 지능(AI)을 규제하는 국가 표준을 설정할 수 있는 법안은 이제 캘리포니아 주지사의 최종 결정(승인 혹은 veto)에 달렸다. AI안전 법안은  기업이 자신들의 기술이 (사회에) 큰 피해를 입히지 않도록 해야 한다는 내용을 담고 있다.

처리 시한(9월 30일)이 가까워질 수록 법안에 대한 논쟁이 계속되고 있다. AI규제안을 지지하는 이들은 ‘안전한 AI를 위한 최소한의 안전장치’라고 주장하고 있고 반대 진영은 법안이 AI 발전과 새로운 스타트업의 등장을 막을 것이라고 우려하고 있다. 동시에 오픈AI 등 AI개발 테크 기업과 Y컴비네이터(Y Combinator), 안드레센 호로위츠( Andreessen Horowitz) 등은 로비스트 고용해 법안 저지에 총력전을 벌이고 있다.

[주 의회, AI 안전 테스트 강제 법안]

주 의회는 2024년 8월 29일 AI 기업이 시스템을 대중에게 공개하기 전 안전성을 테스트하도록 강제하는 내용을 담은  법안(SB1047)을 승인했다.  테스트는 3차 기관에 의뢰해야 한다. SB 1047은 강력한 AI 모델을 개발하는 기업이 해당 기술이 대량 사상자나 5억 달러 이상 재산 피해와 같은 '심각한 피해'를 초래하지 않도록 '합당한 주의'를 기울일 것을 의무화한다.  

아울러 이 법안은 기업이 언제든지 AI기술 적용을 중단할 수 있는 킬 스위치(kill switch)를 만들게 하는 등 예방 조치를 강제하고 있다.  안전성 우려를 폭로하는 내부 고발자에 대한 보호 조치로 포함됐다. 법안은 주법무부장관에게  AI기술로 인한 사망이나 재산 피해와 같은 심각한 피해(severe harm)에 대해 AI 제조업체 등 법안을 준수하지 않은 기업을 고소할 수 있는 권한을 부여한다.

이 법안을 공동 발의한 민주당 주상원의원 스콧 위너(Scott Wiener)는 성명에서  “의회는 신기술 발전에 따라 공익을 보호하기 위해 선제적으로 노력하는 정말 역사적인 조치를 취했다”고 밝혔다. 그는 또 이 법안을 많은 대기업이 이미 이행하고 있는 안전 약속을 명문화한 '가벼운 터치의 상식적인 조치'라고 불렀다.

만약 이 법안이 통과될 경우, 캘리포니아 주는 인간 스타일 챗봇이나 동영상 생성 툴 등 빠르게 발전하면서 인간의 창작 작업을 바꾸고 있는 생성AI를 규제하는 첫 번째 주(State)된다. 캘리포니아의 AI규제 법안 도입은 다른 주에도 영향을 미칠 수 밖에 없다. 게다가 캘리포니아는 오픈AI, 런웨이 등 주요 생성AI기업들의 본사가 포진해있다.

캘리포니아 주지사 개빈 뉴섬(Gavin Newsom)이 이 법안을 승인할지는 아직 알려지지 않았다.  절차에 따라 뉴솜 지사는 오는 9월 30일까지 승인이나 거부권 행사 결정을 해야 한다. 승인될 경우 2026년 1월 1일 법안은 시행된다.

현재 빅테크 임원, 벤처캐피탈리스트, 학계 및 연방 의원들의 로비가 쇄도하고 있다 벌써부터 빅테크 기업들로부터는 거부권을 행사하라는 압력이 가해지고 있다. .그러나 뉴솜 지사는 정확한 입장 표명을 하지 않고 있다.

[AI 법안 ‘혁신을 저해할 것’]

유럽 EU가 AI규제 법안을 만들었지만 미국 연방 의회는 아직 구체적인 움직임을 보이지 않고 있다. 이런 분위기와는 달리 캘리포니아는 AI 규제안을 현실로 옮기고 있다.  캘리포니아의 움직임은 심각한 갈등을 만들고 있다. AI의 규제 혹은 진흥을 지지하는 진영은 ‘AI와 함께 하는 인류의 미래’를 두고 팽팽한 신경전을 벌이고 있다.

낸시 펠로시 전 하원 의장 등을 포함한 여러 의원들은 뉴솜 주지사에게 서한을 보내 해당 법안이 AI 발전에 해를 끼칠 수 있다고 경고했다. 인공지능 기술이 아직 초기 단계에 있으며 시스템이 안전한지 여부를 판단하기에는 너무 이르다는 판단이다.

펠로시 전 하원 의장은 공개 서한에서 “의회에 있는 많은 사람들의 견해는 SB 1047이 의도는 좋지만 정보가 부족하다는 것”이라고 쓰기도 했다. 낸시 펠로시 전 하원의장, 로 카나(Ro Khanna) 미국 하원의원, 런던 브리드(London Breed) 샌프란시스코 시장 등이 대표적인 반대론자들이다.

AI. 법을 반대하는 전문가들은 이 법이 AI혁신을 저해하고 스타트업의 발전을 가로막을 수 있다고 우려하고 있다. 특히, 빅테크 기술 기업이 AI 기반이 되는 소프트웨어 코드를 다른 기업 및 소프트웨어 개발자와 공유하지 못하도록 하는 것, 즉 오픈 소스로 알려진 관행(open source)을 막을 수 있다 주장하고 있다.

몬트리올 대학 컴퓨터 과학 교수 제프리 힌튼(Geoffrey Hinton)은 뉴섬 주지사에게 보낸 편지에서 "정부가 지금 이 강력한 인공지능 시스템을 개발하고 배치하는 방법에 대해 내리는 선택은 현재와 미래 세대의 캘리포니아 주민은 물론 전 세계 사람들에게 중대한 결과를 초래할 수 있다"고 말했다.

[AI법안 사회 안전망을 위한 최소한의 가이드레일]

하지만, 규제 옹호론자들은 일정 수준 가이드레일이 없을 경우 AI는 선거와 민주주의에 악영향을 미칠 수도 있다고 우려하고 있다.  보호 장치가 없다면 AI는 재앙적인 잠재력을 가지고 있다는 이야기다.

이들은 ‘규제 없는 AI가 바이오 전쟁을 일으키거나 허위 정보 캠페인을 통해 민주적 선거와 정부를 뒤집는데 사용될 수도 있다’고 보고했다.

테슬라 창업주 일론  머스크(Elon Musk)는 소셜 미디어 X에 "어려운 결정"이었지만 "모든 것을 고려했을 때" 기술의 잠재적 위험성 때문에 AI 규제와 법안을 지지한다고 게시하기도 했다. 2023년 머스크는 AI 기업 xAI를 설립하고 자율 주행 차량에도 AI를 적용하고 있다.

안전한 AI개발에 집중하는 앤트로픽(Anthropic)은 조심스럽게 규제 법안을 지지하고 있다. 앤트로픽은 “(규제 도입) 이득이 비용보다 클 것"이라며 해당 조항을 실현할 수 있을 것이라며 조심스럽게 이 법안을 지지했다.

법안을 발의한 위너 상원의원도 앤트로픽(Anthropic), 오픈AI(OpenAI), 메타(Meta), 구글(Google) 등 테크 기업들과 비평가들을 달래기 위해 몇 가지 조항을 변경했다. 초안에는 AI 안전을 담당하는 새로운 기관을 만들겠다고 적시됐지만 이 제안은 폐기됐다.

또 잠재적 피해가 아닌 실제 피해(actual harms)에 대해서만 처벌할 수 있도록 기업의 책임도 낮췄다. 아울러 이 법안이 대규모 AI모델 훈련에 1억 달러 이상을 지출하거나 모델 미세 조정(Fine tuning)에 1,000만 달러 이상을 지출하는 기업에만 적용된다는 점을 강조하고 있다.

앤트로픽은 위너 의원이 제안한 몇 가지 수정안을 시행한 후 이 법안을 더욱 지지하게 됐다고 밝힌 바 있다.

[향후 전망]

캘리포니아가 추진하는 AI규제 법안은 파급효과가 크다. 유사한 규제를 준비하는 다른 주들도 결과를 예의 주시하고 있다. 뉴섬이 AI규제 법안을 지지할 경우 뉴욕이나 다른 주들도 자체 법안을 통과시킬 가능성이 크다.

특히, 오는 11월 대통령 선거에도 이 법안은 영향을 미칠 수 있다. 법안 통과나 거부권 행사에 따라 이를 빅테크들의 지지 후보가 달라질 수 있다. 카말라 해리스나 도널드 트럼프 모두 아직은 AI법안에 대한 구체적인 입장은 밝히지 않고 있다.

하지만, AI산업에 미국이 차지하는 규모와 업체 영향력을 감안할 때, 연방 차원의 규제 법안이 도입되기는 쉽지 않아 보인다. 하지만, 아동, 통신, 교육, 선거 등의 법안에 AI규제 조항이 담길 기능성은 크다.