نحوه استفاده شما از رنگها اشتباه است. نوشتار شما باید اینگونه باشد:
\documentclass[a4paper,11pt]{book}
\usepackage{color,amssymb,amsmath}
\usepackage{xepersian}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\newenvironment{example}
{{\leavevmode\color{red}\rule{\textwidth}{3pt}}\\ {\Large$\blacksquare$}}
{\hfill {\Large$\blacksquare$}}
\begin{document}
%%%
\vspace{4cm}
\begin{example}
\noindent \textbf{مثال}\\
این یک آزمایش است.
\begin{equation*}
a^2+b^2=c^2
\end{equation*}
\end{example}
\end{document}