两表连接+筛选即可

筛选时,注意登陆时间在19:00之前,登出时间在19:00之后为直播开始时的在线人数。

where date_format(in_datetime,'%H:%i')<='19:00'
and date_format(out_datetime,'%H:%i')>='19:00'

最终的sql

select t1.course_id,course_name,count(user_id)
from
course_tb t1 
join
attend_tb t2
using(course_id)
where date_format(in_datetime,'%H:%i')<='19:00'
and date_format(out_datetime,'%H:%i')>='19:00'
group by t1.course_id,course_name