2025 데이터센터 서밋 코리아 지속가능한 데이터센터, 핵심은 ‘에너지 효율화’ 전자신문
AI와 빅데이터는 이제 떼려야 뗄 수 없는 한 몸처럼 움직이고 있어요. AI가 똑똑해지기 위해선 수많은 데이터를 학습해야 하고, 그 데이터를 분석하고 정리하는 게 바로 빅데이터 기술이랍니다. 새로운 기술과 프로세스를 도입하는 과정에서 임직원의 협조와 이해가 필수적입니다.
두 번째, 데이터 수집
지난해 등장한 메타의 최신 모델 라마3 역시 15조 개가 넘는 토큰을 학습했다. 이 서비스를 위해 시는 대형 유통 시설이 들어서지 않은 큰 대로변 등의 뒷 골목과 같은 영세한 골목상권 1,008개를 ‘서울형 골목상권’으로 규정했다. 지역 내의 중국집, 편의점 등 43개 생활밀착업종의 2,000억 개 빅데이터를 기반으로 서비스를 구축하였다. 한편, 터너 등은 교육, 탐색, 시험, 실행으로 이어지는 빅데이터 수용 4단계를 제시하였다.
데이터 개인정보보호 및 규정 준수 무시
헬스케어에서는 AI와 데이터가 생명을 살리는 도구가 된다는 점에서 특히 더 신중하게 접근해야 해요. 즉, AI는 빅데이터 없이는 제대로 작동하지 못하고, 빅데이터는 AI 없이는 의미 있는 가치를 만들기 어려워요. ROI(Return on Investment)를 면밀히 계산해야 합니다. 데이터 사이언티스트와 분석 전문가를 고용하거나, 외부 컨설팅 서비스를 활용하는 것도 좋은 https://www.ateliermasomi.com/ko-kr 선택입니다. 빅데이터와 인공지능은 우리의 현재와 미래를 변화시키는 중요한 기술입니다. 이 두 기술은 서로의 발전을 도우며, 여러 분야에서 혁신을 일으키고 우리의 삶을 더 나아지게 만들고 있지요.
이처럼 빅데이터와 AI 기술은 의료 분야에 혁신을 가져오고 있으며, 앞으로 더욱 발전된 형태로 우리의 건강을 지키는 데 기여할 것입니다. 빅데이터 분석 방법에는 머신러닝, 통계 분석, 데이터 마이닝 등이 있으며, 다양한 산업에서 활용됩니다. 데이터를 효과적으로 분석하고 시각화하면 비즈니스 성과를 극대화할 수 있습니다.
사회가 빠르게 발전하고, 위험 요인과 복잡성이 증가할수록 시스템을 통해 환경 변화를 신속하게 감지할 필요성이 증가한다. 따라서 빅데이터 분석을 통해 미래의 통찰력, 대응력, 경쟁력, 창조력을 향상시키며 국가의 지속적 발전을 성취할 수 있는 전략 수립이 필요하다. 빅데이터의 활용은 기업 경영에 새롭게 다양한 변화를 가져오고 있습니다.
명확한 정렬 없이는 기업은 실행 가능한 통찰력을 추출하지 않고 많은 양의 데이터를 수집할 위험이 있습니다. 16일 학계에 따르면 최근 전문가 사이에선 거대언어모델(LLM)을 비롯한 AI가 인간이 만든 각종 데이터를 거의 소진했다는 ‘데이터 절벽론’이 대두되고 있다. 지금까지 인간이 생산한 지식의 범주 안에서는 AI가 다음 단계로 도약할 정보를 얻기 어렵다는 주장이다. 즉 서울시는 2015년 12월 1일 골목상권에 창업하고자 하는 영세 소상공인들을 위해 빅데이터를 기반으로 창업 위험도를 예측해 주는 서비스를 시행하기 시작한 것이다.
온라인 강의, 데이터 분석 관련 서적, Kaggle과 같은 데이터 분석 실습 플랫폼을 활용하는 것이 효과적입니다. 기지국 통계 데이터와 가금류 농장 관련자들의 차량 이동 데이터를 분석하여 농가별 발생 원인을 파악한다. AI 확산의 핵심 요인으로 추정되는 확산 매개체를 선정하고, AI 확산 관련 핵심 요인 추출하며, 발병 농가 사이의 연관성을 분석한다.
이와 같이 자동차 동작과 운전 등에 대한 정확한 분석은 새로운 자동차를 설계하고 개발할 때 객관적인 정보를 제공하고, 데이터 기반 의사결정을 할 수 있도록 도울 것이다. 양적으로 우수한 데이터만 확보하고 있다고 해서 빅데이터를 조직 내에서 효율적으로 적용하기는 어렵다. 빅데이터를 활용한 성공이 무엇인지를 명확히 정의하고, 이를 강력하게 추진할 수 있는 리더십이 필요하다.
- 미국 뱅크오브아메리카(BoA)는 5천만 건, 약 65PB(petabytes)의 고객 데이터를 보유하고 있다.
- 예를 들어, 제조업 기업은 머신러닝 알고리즘을 활용하여 고장 예측 및 예방을 통해 유지보수 비용을 절감할 수 있습니다.
- 조직 내 모든 구성원이 데이터를 기반으로 의사결정을 내리고, 데이터 분석의 중요성을 인식할 수 있도록 교육과 훈련을 제공해야 합니다.
- 금융 업계에서는 빅데이터를 활용해 리스크 관리를 강화하고, 이상 거래를 감지하며, 맞춤형 금융 상품을 제공합니다.
빅데이터 프로젝트에서는 대규모의 데이터 처리를 위한 수집 및 저장 체계 구축이 필요합니다. 이러한 체계는 데이터 수집, 저장, 처리, 관리 등 전 과정을 포괄해야 하며, 보안 및 개인정보 보호를 고려하여 설계되어야 합니다. MIT 데이터출처 이니셔티브의 연구에 의하면 고품질 웹 콘텐츠의 크롤러 차단 비율은 2023년 3% 미만에서 2024년 33%로 급증했다. LLM을 고도화하기 위해서는 철자 오류나 문법 오류가 없으면서 일관성 있는 정보가 필요한데, 이 같은 고품질 데이터를 확보하기가 점점 어려워지고 있는 것이다.
현재 기업의 업무 현장에 투입된 AI 대부분은 창의적 사고보다는 효율적 대체에 가까운 방식으로 활용되고 있다. 특히 GPT 기반 언어모델은 일정 수준의 문서 작성, 코드 생성, 고객 응대 등 반복성 높은 업무에서 강점을 보인다. 이에 따라 기업들은 AI를 지식 창조의 주체로 보려 하기보다는 비용 절감과 생산성 향상 수단으로 활용하는 쪽에 초점을 맞추는 모습이다. 이는 올 상반기에만 약 6,000명의 직원을 해고한 MS의 사례에서 확인할 수 있다. MS는 워싱턴주에 보고한 문서에서 정리해고 인력의 약 40%가 소프트웨어 개발자, 즉 코더(coder)라고 밝힌 바 있다. 사실 지방행정은 복합행정이기 때문에 이러한 지방행정의 빅데이터 활용 유형은 정부 등 공공 분야의 활용 유형으로 적용해도 될 것이다.
이를 지원하기 위해 새로운 성장 동력으로 빅데이터 센터를 구축하였다. 빅데이터센터를 영업 부문이 아니라 경영기획 부문에 배치해 단순한 영업이 아니라 상품개발, 영업,상담 등 전사적 관점에서 활용하는 ‘빅데이터 경영’을 추진하였다. 빅데이터 센터는 빅데이터기반 마케팅 파트’, 내부 효율화를 위한 ‘비즈니스 인사이트 파트’, ‘빅데이터 플랫폼 파트’ 등3개 부문으로 구성하였다.
통찰력을 실행 가능한 비즈니스 전략으로 전환
볼보는 많은 양의 데이터를 처리하기 위해 데이터웨어하우스를 개선하고 빅데이터 수집 등 빅데이터 플랫폼을 강화하는 작업을 수행하였다. 볼보의 초기 빅데이터 사업은 레거시 시스템을 새로운 데이터 웨어하우스로 변경하는 빅데이터 플랫폼 개선 작업의 일환으로 시작되었다. 최근에는 새로운 빅데이터 플랫폼 기반을 마련하여 전산 운영 비용이 감소하고 시간이 절약되는 효과를 보았다. 새로운 빅데이터 웨어하우스에서 처리할 수 있는 데이터의 양은 364GB에서 1.7TB까지 증가되었다. 또한 차량 주행 거리 측정의 경우 기존 2시간이 걸렸지만 5분으로 크게 줄었다. 진단 오류 코드의 보고서 분석 소요 시간이 2주에서 15분으로 짧아지는 등 프로세스 처리 시간이 단축되는 성과를 보이며 빅데이터 분석 기반을 마련하였다.
또 예측 분석을 통해 미래의 추세를 예측하고, 이에 따른 전략인 기준을 수립할 수 있게 되었습니다. 구글은 빅데이터와 인공지능을 활용한 의료 분야 특화 AI 언어 모델인 메드LM(MedLM)을 2023년에 선보였고, 꾸준히 연구하고 있습니다. 이 모델은 방대한 의료 데이터를 학습하여 의사와 의료진의 업무를 지원하고 의료 서비스의 질을 높이는 것을 목표로 합니다.