본문 바로가기

DAta 이론8

[이론 정리]<AI 시대의 프로그래머> 요약: 프롬프트 엔지니어링의 이해와 방법 AI가 우리의 일상과 업무 방식에 깊숙이 자리 잡으면서, 프로그래밍의 패러다임도 큰 변화를 맞이하고 있습니다. 과거의 소프트웨어 개발은 입력과 출력이 확실하게 정의된 논리적 과정에 초점을 맞췄지만, AI 코파일럿이 등장하며 이러한 틀이 점점 무너지고 있습니다. AI 기반 프로그래밍은 확률적이고 비선형적인 접근을 요구하며, 이에 따라 프롬프트 엔지니어링이라는 새로운 기술 분야가 주목받고 있습니다.데이터 분석가로서 저도 AI의 영향을 많이 받고 있으며, 본격적인 프로그래밍을 논할 단계는 아니지만 간단한 코딩에서도 AI 도움을 받고는 합니다. 그래서 이번 글에서는 라는 책에서 특히 프롬프트 엔지니어링의 정의와 적용 방법에 집중해서 간단히 정리해 보겠습니다.  CHAPTER 1|개발자에게 열린 새로운 세상자연어.. 2024. 12. 20.
[데이터 분석 알아보기] 1-2. 추천 시스템 어떻게 만들까 추천 시스템은 데이터 업무 중에서 가장 알짜배기면서 논란도 많은 일이예요   구글이나 메타같은 세계적 빅테크 기업들의 주요 수입원이 직간접적으로 연관이 있을만큼 추천 시스템은 소위 '요즘 돈이 되는' 일입니다. 다른 제조업 회사들이 발로 뛰며 조사하고 시제품을 만들고 시장에서 실패를 겪어가며 비싼값을 치르고 알아내는 고객들의 취향을 빅테크 회사들은 자신들의 거대 플랫폼에서 활동하는 고객들의 흔적으로 알아내고 적극적으로 추천이라는 일종의 마케팅까지 해내는거죠. 이런 요즘 IT 회사들의 비즈니스 모델은 고객의 행동을 몰래 조사해서 상업적으로 이용한다며 '감시 자본주의'라거나 '빅 브라더'라고 대대적으로 비판받기도 해요.  저는 고객의 개인정보를 이용하는 일이 기업이 사회적 책임을 다해야 한다는 ESG 윤리경.. 2024. 8. 16.
[데이터 분석 알아보기] 2-1. 데이터 시각화는 무엇이고 왜 필요할까? 데이터 시각화는 데이터 분석가 업무의 꽃입니다   저는 데이터 분석가가 하는 일을 크게 '의사소통, 데이터 작업 및 분석, 데이터 시각화'라고 이해하고 있어요. 여기서 의사소통이 회사 동료들과 만나 해결할 문제를 식별하고 결과로서 인사이트를 전달하는 업무의 시작과 끝이고 데이터 작업이 데이터를 수집, 정리, 의미화하는 과정이라면 데이터 시각화는 마지막 의사소통을 위해 분석결과와 인사이트를 차트, 그래프, 대화형 대시보드 등의 방식으로 담아내는 일이죠. 데이터 작업과 분석이 팀원들은 볼 수 없는, 분석가 혼자만의 지난한 과정이라면 시각화는 (여전히 작업 자체는 거의 혼자하겠지만..)비로소 결과를 발표하며 업무의 결과를 드러내려는 작업이예요. 백조로 비유하면 분석작업이 호수 아래의 쉼없는 발길질이라면 시각화.. 2024. 8. 15.
[데이터 분석 알아보기] 2-1. 머신러닝_ML의 의미와 종류 머신러닝은 인공지능과 함께 언제부턴가 우리에게 친숙한 단어가 되었습니다.  적어도 2022년 말 즈음 챗GPT가 나온 이후로는 인공지능(Artificial Intelligence)의 시대가 일반인들에게도 성큼 다가온거죠. 하지만 프롬프트 서비스를 이용하는데 그치지 않고 데이터를 이용해 전문적인 작업을 해야하는 개발자나 데이터 분석가들에게는 AI보다 더 구체화된 개념인 머신러닝(Machine-Learning, ML)에 대한 이해와 활용이 필요합니다. 이번 페이지에서는 인공지능의 하위범주로서 머신러닝이 무엇인지에 대해 생각해보고 그 종류에는 무엇이 있는지 알아보겠습니다!  1. 머신러닝이란?  머신러닝에 대해 알아보기 위해 먼저 인공지능과 그 하위 개념들에 대해 알아보겠습니다.AI: 인간의 지능을 모방하는 .. 2024. 8. 12.
[내일배움캠프 SQL] 1. 엑셀과 비교해서 RDBMS 이해하기 최근 중시되는 데이터 베이스(DB)에서 데이터를 '추출해서 분석'한다는 일은 무엇을 말하는가? 1. 엑셀-널리 이용되는 엑셀은 곧 데이터 추출과 분석(기록, 수정, 삭제, 조회) 역할을 하는 솔루션. 엑셀의 핵심 기능은 '데이터의 기록과 관리'.-방식은 GUI(그래픽 사용자 인터페이스). 이는 명령을 텍스트가 아닌 아이콘 등 그래픽 요소를 사용해서 디지털 기기에 입력하는 것.-하나의 엑셀 파일 내에 여러 개의 새트, 한 시트 내에 여러 행과 열, 혹은 표로 이루어진 형태 2. RDBMS- 관계형 데이터베이스 관리 시스템(relational database management system). - 엑셀과 공통점: ①여러 행과 열(테이블)을 모아둔 '데이터베이스.' ②파일 내 각 테이블은 서로 참고할 수 있게.. 2024. 8. 10.
[데이터 분석 알아보기] 2-2.직관적인 데이터 시각화 만들기 1. 데이터 시각화, 더 자세히 알아보자지난 시간에는 데이터 시각화란 무엇이고 왜 해야하는지 알아봤습니다. 데이터 분석가에게 데이터 시각화란 단순히 데이터를 시각적으로 바꿔놓는 '가시화'에 그치지 않고 관찰자가 더 쉽게 이해하고 인사이트를 발견할 수 있도록 목적을 가지고 데이터를 가공하는 일입니다. 분석가의 의도와 목적 없이 단순히 그래프로 치환한 데이터는 여전히 아무 의미 없는 비정형 정보에 불과할겁니다. 그리고 시각화가 필요한 이유는 인간이 감각과 인지능력의 한계로 인해 방대한 양의 데이터 속에서 오히려 유용한 '정보'와 '지혜'를 찾기 어렵기 때문입니다. 따라서 데이터 분석가는 시각화를 통해 데이터가 전해주는 정보를 직관적으로 전달하며 관찰자의 의사 결정에 도움을 줄 수 있어야 합니다. 그렇다면 직.. 2024. 8. 9.
[내일배움캠프 SQL] 0. 데이터 분석가의 밥줄, SQL을 소개합니다! 간단한 역사부터 기능과 구조까지 SQL은 데이터 분석가라면 반드시 익혀야할 툴입니다. 왜냐구요?  내일배움캠프 데이터 분석가 과정을 시작하면서 우리가 가장 먼저 배우는 코딩 언어가 SQL입니다. 제가 한창 공부하고 있는 데이터 분석 준전문가(ADsP) 시험에서 제일 먼저 언급되는 툴 역시 SQL이죠. 범위를 넓혀서 미국의 프로그래밍 전반에 관한 사이트인 IEEE Spectrum에서 선정한 2023년 프로그래밍 언어 순위 목록에서도 SQL은 직장에서 가장 필요한 코딩 언어로 꼽혔습니다. SQL은 파이썬처럼 다양한 라이브러리를 통해 데이터 추출부터 시각화, 모델링까지 다양한 기능을 제공하지는 않습니다. 하지만 데이터 분석가는 물론 프로그래머들 모두에게 반드시 필요한 데이터의 전처리에 있어서 강력한 성능을 발휘하죠. 이번 페이지에서는 데이터.. 2024. 8. 7.
[데이터 분석 알아보기] 1-1. 데이터 전처리_사용자 행동 데이터 분석 데이터 분석가가 가장 기본적으로 하는 일이 뭘까요?  데이터 분석가는 물론 데이터를 다룹니다. 그런데 데이터는 '자체로는 의미 없는 객관적 사실'이라지만, 분석가들이 업무에서 마주치는 데이터는 대부분 어떤 움직임 혹은 '행동'의 기록들이예요. 그것이 앱 서비스 사용자의 기록이든 물류의 이동이나 습도의 변화이든 말이죠. 그래서 분석가들은 데이터에서 보이는 이 행동과 변화에 주의를 기울여야 해요. 특히 이번에 저희 내배캠 팀이 공부한 아티클들에서는 현업에서 많이 쓰이는 앱 서비스 사용자 행동에 대한 데이터 분석법을 다뤘어요. 사용자 행동 데이터는 고객들이 서비스를 원활하게, 잘 쓰고 있는지를 가늠할 수 있는 대표적인 방법이죠. 그 분석을 통한 발 빠른 고객 요구사항 확인과 피드백이 중요하다고 하는데요, 그렇.. 2024. 8. 6.