GA4와 빅쿼리의 연동 1 - API할당량 이슈와 빅쿼리의 필요성

본 게시물은 패스트 캠퍼스 'GA4 완벽 탑재, 구글 애널리틱스 완전 정복 시그니처 패키지 Online' 강의 수강 후 정리용으로 작성되었습니다.

강의 홍보 : https://fastcampus.co.kr/mktg_online_siga4

[GA4 완벽 탑재, 구글 애널리틱스 완전 정복 시그니처 패키지 Online. | 패스트캠퍼스

가장 최신의 구글 애널리틱스부터 루커스튜디오, 구글 애즈 등 구글 마케팅 툴 6종까지 한 번에! 계속 변화하는 구글 마케팅 플랫폼에 맞추어 무한 업데이트까지 약속합니다.

fastcampus.co.kr](https://fastcampus.co.kr/mktg_online_siga4)

---

 루커 스튜디오에도 일부적인 한계가 존재한다. 그래서 그 한계에 따라서 무조건 빅쿼리를 사용해야 되는데 어떤 한계가 있는지 그리고 이 오류 사항에 따라서 어떻게 극복해 나가야 되는지 이런 것들을 정리하도록 하겠다.

 

• API 할당량 이슈라는 것들을 다뤄볼 건데. 실제로 지난 시간에 구글 애널리틱스를 그대로 루커 스튜디오랑 연결해서 필요한 측정 기준과 측정 항목을 가지고 선 차트도 만들어보고 도넛 차트도 만들어봤다. 하지만 실제로 루커 스튜디오에 활용하고 분들이 있다면 차트를 엄청 많이 만들게 되면은 이런 오류들이 뜰 때가 있다. Looker Studio cannot connect to your dataset이라든가 아니면 API 쿼터 할당량이 초과됐다든가 이런 오류가 뜬다거나 아니면 구글 애널리틱스를 통해서 루커 스튜디오로 바로 연동을 할 때는 속도가 조금 느려지는 경향이 있다. 물론 데모 계정을 통해서 시각화를 했기 때문에 속도 차이에서 크게 문제점을 느끼진 못했지만 실제로 데모 계정보다 더 데이터가 많이 들어온다거나 아니면 더 차트를 이 만들게 된다 하면은 속도가 좀 느려지게 되면서 로딩이 오래 걸리게 된다. 아니면 할당량 초과가 뜨는 거다. 그래서 이런 두 가지의 한계점이 있다. 첫 번째는 API 할당량 초과 이슈라는 거라서 데이터를 아예 못 본다. 아니면 두 번째는 데이터가 너무 많아지게 되면 구글 애널리틱스를 로컬 스튜디오로 바로 연동했을 때는 이제 속도가 느려질 수 있다. 단점들이 있는데. API 할당량 이슈는 어떤 건지 알아보도록 하겠다.

• 실제로 지금 릭 에릭라는 분이 이분은 이제 루커 스튜디오의 프로덕트 담당자인데. 2022년 11월 11일 날 발표가 하나 나왔다. Announcing report editor improvements, GA4 request quotas라고 되어 있는데 이 quotas가 할당량이라는 뜻이다. 구글 애널리틱스와 루커 스튜디오를 바로 연동하는 순간 애널리틱스가 가지고 있던 측정 기준과 측정 항목들이 모두 다 데이터 소스에 있었기 때문에 쉽게 가지고 올 수 있었다. 근데 연결을 한다라는 의미는 결국에는 구글 애널리틱스에서 제공해주는 API를 사용한다라는 뜻이 된다. API가 좀 낯설 수도 있을 텐데 API는 구글뿐만이 아니라 다양한 기업들에서 제공이 되는 식당의 메뉴판 같은 거다. 예를 들어 우리가 식당에 가서 제육볶음 하나 해주세요라고 시키면 제육볶음이 들어온다. 모든 재료들을 조합할 필요도 없고, 모든 재료들을 열거할 필요도 없이 맞춤형으로 만들어져 있는 식당의 메뉴판이라고 보면 된다.

 

• 그래서 애널리틱스 데이터 API가 뭐냐면 결국에는 구글 애널리틱스의 데이터를 메뉴판으로 주문을 해가지고 가져오는 건데 그때 우리는 이미 애널리틱스와 루커 스튜디오를 연동할 때 이 구글 애널리틱스에서 제공해 주는 데이터 API라는 걸 사용했기 때문에 쉽게 가져올 수 있었다. 작년까지만 하더라도 이 데이터 API에는 제한이 없었기 때문에 누구나 쉽게 루커 스튜디오와 GA4를 가지고 시각화 차트를 만들 수 있었지만 갑작스럽게 2022년 11월경에 데이터 API 커터스라고 해서 GA4에서 제공해 준 데이터들의 API에 할당량을 제한하겠다는 발표를 해버리게 되었다. 할당량을 제한한다는 것을 하루에 내보낼 수 있는 구글 에너지 데이터 양을 제한한다는 거고 그에 따라서 할당량을 초과할 정도로의 많은 데이터를 적재하고 있는 고객들은 이 API 할당량 이슈 때문에 시각화 차트를 만들기가 어려워지게 됐다. 그렇기 때문에 루커 스튜디오가 제대로 동작을 안 하기 시작했다. 11월달에 그래서 이 데이터가 많은 고객사들은 데이터가 동작을 안 하니까 이슈들을 계속해서 검색을 해보더라도 이 이슈에 대해서 다루고 있는 논의들이 없었다가 이제 릭 에릭이라는 분이 이제 링크드인에서 발표를 하겠다고 설명을 했고 실제로 이제 공식 가이드에 이 쿼터 할당량 제도에 대해서 문제가 있다는 것들을 어필을 했다. 근데 이 릭 에릭이 하신 말씀이 뭐냐면 루커 스튜디오는 아무 잘못 없다 애널리틱스의 데이터 API에 할당량이 생겨버렸기 때문에 이거는 어떻게 할 문제가 아니다는 발표인 겁니다. 근데 사실은 애널리틱스의 API를 써가지고 태블로와 같은 시각화 툴로 시각화를 하는 분들도 있고 아니면 다른 우리의 서버로 적재하는 분들도 있었는데 API 할당량 자체가 이제 제한이 생겨버렸다 보니까 루커 스튜디오 아니면 태블로 아니면 등등의 다른 툴에서도 애널리틱스의 API를 사용하는 게 어려워지게 된 것. 실제로 이 발표가 일어났을 때 댓글이 정말 많이 달렸었다고 한다. 보통 이제 공식 가이드 문서에서는 댓글이 한두 개밖에 안 달리는데 강사님의 기억으로는 100개가 넘었었다고 한다. 영어로 된 욕이 달리기도 하고 장난하냐 이런 느낌으로 이제 루커 스튜디오는 이제 틀림없이 이제 쓸모 없어졌다. 모든 유저들에게라든가 아니면은 구글이 이렇게 애널리틱스 API를 일언반구도 없이 이렇게 제한시켜 버려서 루커 스튜디오를 잘 쓰고 있는 사람들에게 못 쓰게 하다니 이거는 정말 갑질이다라고 말하는 분들 있었다고 한다. 결국에는 이 애널리틱스 API에 대해서 구글 측에서는 이제 정책을 바꿀 의지가 없다라고 발표를 했고요. 결국에는 데이터가 많은 고객사들은 구글 애널리틱스의 데이터 API를 활용해서 스튜디오로 시각화하는 거 바로 연결해서 사용하는 것에 한계가 있게 돼버렸다.

• 그러니까 우리가 이전에 배웠던 루커스튜디오 시각화가 한계가 생겨버리게 된 거죠.

데이터 웨어하우스

• 그런데 구글에서 한 가지 문을 열어놨습니다. 뭐냐면 바로 구글 애널리틱스 4와 구글 빅쿼리라는 게 연동을 무료로 도와줄 수 있도록 서비스를 제공하게 된 것. 사실 이 빅쿼리라는 서비스는 유니버설 애널리틱스 360 유료 버전의 고객들만 이 빅쿼리를 활용할 수가 있었는데 유니버설 애널리틱스에서 구글 애널리틱스 4로 바뀌게 되면서 이제 구글 애널리틱스 4와 빅쿼리를 무료로 연동을 도와주겠다라는 기능이 추가가 된 것. 그러면 빅쿼리라는 것은 무엇일까? 이 빅쿼리는 데이터 웨어하우스의 일종이다.

• 데이터 웨어하우스란 우리가 실제로 비즈니스를 하게 되면서 정말 많은 데이터들을 확보하게 되는데 주문 데이터라든가 CRM 데이터라든가 로그 데이터. 로그 데이터가 바로 구글 애널리틱스 데이터. 이런 로그 데이터들을 모두 다 데이터 웨어하우스에 통합해서 보관할 수 있는 곳이다라고 이해해 주면 좋을 것 같다. 근데 이 데이터 웨어하우스에 있는 데이터를 직접 소유하게 됨으로써 데이터 시각화도 할 수 있고, 고객의 데이터가 있다면 푸쉬 메시지를 발송할 수 있고, 아니면 구글의 빅쿼리에서 제공해 주는 Vertex ai라든가 이렇게 데이터 머신러닝 학습을 시켜서 예측치를 리포트로 볼 수 있게 된다. 데이터 웨어하우스란 말 그대로 정말 많은 데이터들을 통합해서 관리해 주는 서비스 그게 바로 구글 빅쿼리다라고 봐주면 좋을 것 같다.

• 다행스럽게도 구글 애널리틱스와 구글 빅쿼리는 서로 연동을 무료로 할 수가 있다. 그리고 구글 빅쿼리에 있는 데이터를 루커 스튜디오로 시각화를 해서 가져올 수 있게 됐다. 그래서 이 API 할당량 초과로 인해서 애널리틱스와 루커 스튜디오를 바로 연동하려면 데이터가 많은 고객들은 속도가 느려지거나 API 할당량 이슈가 생겨버리기 때문에 애널리틱스에 있는 데이터에 로우 데이터를 빅쿼리로 일단 적재를 한 다음에 빅쿼리의 데이터가 적재가 된다면 그것을 루커 스튜디오로 시각화를 시키는 방법을 개발해 내게 됐다. 그러면 무료 구간 내에서 빅쿼리에 있는 데이터를 가지고 시각화를 시킬 수 있기 때문에 빅쿼리에 대한 학습만 하시게 된다면 이전에 사용했던 그대로 이제 루커 스튜디오도 활용할 수 있고, 빅쿼리는 그 이상의 또 많은 것들을 제공해 주기도 한다. 근데 구글에서는 왜 이렇게 갑작스럽게 API 할당량 이슈에 대해서 업데이트를 했을까요? 이거는 강사님의 뇌피셜에 따르면 이제 구글에서는 크게 소프트웨어 서비스들이 정말 여러 개가 있다. 구글은 더 이상 광고 회사가 아닌데. 제일 대표적으로 gws(구글 워크 스페이스), 구글 독스라던가 구글 프레젠테이션, 구글 시트라든가 이런 것들 구글 드라이브라든가 이런 거 많이 봤을 것이다. 얘네가 이제 구글 워크스페이스라는 곳에 속해 있는 상품들이고. 그다음에 두 번째는 gmp(구글 마케팅 플랫폼)입니다. 구글 마케팅 플랫폼에는 구글 애널리틱스, 구글 태그 매니저, 구글 옵티마이즈, 구글 서치 콘솔, 구글 애즈와 같은 툴 소프트웨어들이 있다. 그리고 세 번째는 gcp입니다. 구글 클라우드 플랫폼이라는 건데. 그 클라우드 플랫폼의 대표적인 상품이 바로 빅쿼리, 구글 빅쿼리다. 근데 아시다시피 gws와 gmp는 거의 시장을 구글이 장악했다고 봐도 무방하다. 거의 다 요즘은 구글 독스, 구글 드라이브를 쓴다거나 그리고 또 구글 애널리틱스의 사용률 그리고 구글 애즈도 정말로 광고를 많이 하게 되다 보니까 gmp랑 gws에 있는 소프트웨어들은 어느 정도 시장 점유율을 확보해 나가고 있는데 이 gcp는 만년 3등인 거다. 

 

• 1등 클라우드 서비스는 aws 아마존의 aws고. 2등은 이제 마이크로소프트의 데이터 마켓이다. 그렇다 보니까 이 구글 빅쿼리는 만년 3등이었는데 이 구글 빅쿼리의 사용성을 늘리기 위해서 애널리틱스와 빅쿼리를 무료로 연동을 도와주게 되고 그리고 구글 애널리틱스의 로우 데이터를 통해서 빅쿼리를 시작할 수 있도록 그런 구글의 생태계를 구축해놨지 않았을까 그래서 의도적으로 API 할당량을 제한시켜버렸지 않았을까 이런 뇌피셜를 하게 되셨다고 한다. 구글의 생태계 구축 과정이 정말 무섭디. 강사님이 실제로 구글 빅쿼리를 써봤을 때 요즘은 처음에는 정말 많이 불편했다고 한다. 왜냐하면 빅쿼리를 학습했어야 되니까. 근데 이 구글 빅쿼리를 쓰니까 이제 없으면 안 될 정도로 굉장히 유연한 도구, 편리한 도구가 되어버렸고 그래서 앞으로 강사님은 구글 빅쿼리의 사용성은 계속 늘어날 것이라고 생각한다고 하셨다. 많은 기업들이 기존에 쓰고 있는 aws에서 구글 빅쿼리로 아예 옮기신 분들도 있고. 아니면 인프라 데이터는 aws를 쓰고 아니면 이런 주문 데이터나 로그 데이터 같은 경우는 빅쿼리를 쓰게 되면서 멀티 클라우드를 활용하는 고객도 많이 보셨다고 한다. 그렇다 보니까 이 구글 빅쿼리의 사용성은 앞으로도 올라갈 것 같기 때문에 이번에 잘 배워두시면 앞으로 마케터로서의 역량을 확보하는 데 있어서 매우 중요해지지 않을까 싶다고 하셨다. 여기까지 해서 결국에 구글 애널리틱스에서 루커스튜디오를 바로 연동하는 게 어렵고 애널리틱스와 빅쿼리를 먼저 연동한 다음에 빅쿼리에 로우 데이터가 적재되면 그걸 가지고 루커 스튜디오에 시각화를 시키는 이 작업이 필요해지게 됐다. 그래서 이 부분에 대해서 다음 게시글에서는 일단은 애널리틱스와 빅쿼리를 연동하는 법 그리고 두 번째는 빅쿼리와 루커 스튜디오를 통해서 시각화를 하는 법에 대해서 자세히 설명할 수 있도록 하겠다.