지난번에는 앙상블(ensemble) 전략으로 여러 AI가 협업해 로또 번호를 예측해보았지만, 결과는 아쉽게도 2개 적중에 그쳤습니다.
이제는 새로운 접근이 필요할 때입니다. 그래서 이번에는 강화학습(Reinforcement Learning) 이라는 방법을 사용해 AI의 학습 방식을 바꿔보았습니다.
과연 이 방법으로 AI는 더 나은 예측을 할 수 있을까요?
🚀 “강화학습이 뭐길래?”
강화학습은 간단히 말하면,
AI가 환경에서 시행착오를 통해 스스로 학습하는 방법이에요.
예를 들어, 로또 번호 예측에서는 이렇게 작동합니다:
✅ 환경 → 이전 로또 회차 데이터
✅ 행동 → 1~45 중 6개 번호 고르기
✅ 보상 → 실제 당첨 번호와의 일치 정도에 따라 점수 주기
즉, AI는 “이 번호를 고르면 몇 개 맞췄는지”를 보상으로 받고, 조금씩 더 잘 맞추도록 학습을 반복합니다.
💥 “보상이 핵심이다!”
이번 실험에서 가장 중요한 건 바로 보상 설계였어요.
예측 번호에서 몇 개나 맞췄는지에 따라 점수를 다르게 주었죠:
| 1개 | +1 |
| 2개 | +3 |
| 3개 (5등) | +10 |
| 4개 (4등) | +50 |
| 5개 (3등) | +200 |
| 6개 (1등) | +1000 |
| 중복/미만 | -10 |
이렇게 하면 AI가 작은 성공에도 보상을 받으며 성장할 수 있습니다. 🌱
🧠 “에이전트는 누구?”
강화학습의 주인공인 에이전트(agent)는 환경을 관찰하고, 행동을 선택하고, 결과로 정책을 업데이트하는 역할을 맡아요.
이번 실험에서는
✅ PPO(Proximal Policy Optimization)
✅ DQN(Deep Q-Network)
✅ A2C(Advantage Actor Critic)
이 세 가지 강력한 딥러닝 기반 에이전트를 준비했습니다.
그런데, 잠깐!
“도대체 이 에이전트들이 뭔데 로또 예측에 쓰이나요?” 🤔
간단히 설명드릴게요!
| 이름 | 뭐하는 녀석? | 로또 예측에서 하는 역할 |
| PPO | 안정적으로 학습하는 똑똑한 AI | 많은 실패에도 좌절하지 않고, 번호 예측 패턴을 차근히 학습 |
| DQN | 게임하듯 최선의 선택을 찾아가는 AI | 매 회차마다 어떤 번호를 고르면 보상이 높은지 계산 |
| A2C | 고민하며 성장하는 AI | 현재 선택의 가치와 미래 보상을 동시에 고려해 번호 선택 |
쉽게 말하면,
이 에이전트들은 “어떤 번호 조합이 당첨될 확률이 높을까?”를 수십만 번 시뮬레이션하면서 점점 더 똑똑해지는 친구들입니다. 🤖✨
💾 “GPU 준비 완료!”
강화학습은 데이터 처리량이 매우 많고, 동시에 수많은 계산(연산)을 반복해야 합니다.
AI가 번호 조합을 연습하려면 수십만~수백만 번의 시뮬레이션이 필요하거든요. 🤯
여기서 GPU(Graphics Processing Unit)가 등장합니다.
원래는 게임 그래픽을 빠르게 그리기 위해 만들어졌지만, 요즘은 AI와 딥러닝에서 복잡한 연산을 빠르게 처리하는 데 필수로 쓰입니다.
간단히 말하면:
- CPU(컴퓨터 두뇌) → 한 번에 여러 일을 못 하고 순서대로 처리
- GPU(컴퓨터 근육) → 한 번에 수천 개의 작은 계산을 동시에 처리
“로또 예측에 GPU가 왜 필요해?”라고 묻는다면,
답은 간단합니다:
AI가 충분히 똑똑해지려면 반복 학습이 필요한데, CPU로는 너무 오래 걸리고, GPU로는 그 시간을 획기적으로 줄일 수 있기 때문입니다.
이렇게 비유할 수 있겠죠:
“AI가 로또 번호를 공부하는 속도를 10배, 100배 빠르게 만드는 부스터!”
그래서 이번 실험에서는 GPU가 탑재된 컴퓨터로 학습을 시작, AI가 스스로 번호 선택 전략을 찾아낼 수 있길 기대해봅니다. 🤖💪
📦 그럼 AI는 어떤 준비를 했을까요?
AI에게 “로또 번호 예측”을 맡기려면 단순히 데이터만 던져주면 끝이 아닙니다.
머신러닝, 특히 강화학습(RL, Reinforcement Learning)은 훈련을 위한 환경(environment), 보상 함수(reward function), 에이전트(agent) 설계가 필수입니다.
이번 실험에서는 이런 준비를 마쳤습니다:
- 환경 구성 (Environment) → 로또 번호 추첨의 규칙과 상태(state), 행동(action), 종료 조건(done) 정의
- 보상 체계 (Reward Scheme) → 번호 맞춘 개수에 따른 점수 차등, 잘못된 예측에 패널티 부여
- 에이전트 설계 (Agent) → DQN(Deep Q-Network), PPO(Proximal Policy Optimization), A2C(Advantage Actor Critic) 등 강화학습 알고리즘 적용
- 학습 루프 (Training Loop) → 환경과 상호작용하며 policy를 업데이트하는 반복 학습 구조
- 평가 및 테스트 (Evaluation) → 학습된 policy가 실제 데이터에서 어느 정도 성능을 내는지 측정
- 유틸리티 (Utility Functions) → 데이터 전처리, 번호 검증, 시각화 등 보조 모듈 준비
이렇게 오늘은 AI가 “로또 예측”을 위한 훈련 환경과 설계 기반을 모두 마련했습니다.
다음 단계에서는 이 기반 위에서 본격적인 학습을 시작해, AI가 스스로 전략(policy)을 발견하도록 만들 예정입니다. 🤖📈
📚 용어 정리
- 강화학습 (Reinforcement Learning, RL) → AI가 시행착오를 통해 스스로 학습하는 방법
- 환경 (Environment) → AI가 상호작용하는 공간, 로또에서는 과거 데이터와 게임 규칙
- 에이전트 (Agent) → 학습 주체, 환경을 관찰하고 행동하며 보상을 받는 AI
- 보상 (Reward) → AI가 행동 후 받는 점수, 잘하면 +점수, 못하면 -점수
- 상태 (State) → 현재 환경 정보, 예: 과거 당첨 번호, 빈도 정보
- 행동 (Action) → AI가 내리는 결정, 예: 1~45 중 6개 번호 선택
- 정책 (Policy) → 어떤 상태에서 어떤 행동을 할지 결정하는 전략
- PPO (Proximal Policy Optimization) → 안정적이고 효율적으로 학습하는 강화학습 알고리즘
- DQN (Deep Q-Network) → Q-learning과 딥러닝을 결합해 최적 행동을 찾는 알고리즘
- A2C (Advantage Actor Critic) → 정책 기반과 가치 기반 학습을 동시에 하는 알고리즘
- GPU (Graphics Processing Unit) → 대규모 연산을 빠르게 처리하는 컴퓨터 장치
이 글에서는 AI가 로또 예측에 어떤 방식으로 접근하고 학습하는지에 대해 살펴보았습니다.
다음 글에서는 AI가 실제로 선택한 번호 조합과 그 결과를 분석해 보겠습니다.
강화학습을 통해 AI가 어떤 전략을 스스로 만들어냈는지 궁금하시다면, 이어지는 분석도 참고해보세요.